сволочная БЖ или слишком ответственная мама?

нужен взгляд со стороны.
ситуация: с бывшим мужем прожили около 5 лет, есть сын 3,5 года. бывший муж встретил большую и светлую любовь на новой работе, я отпустила. было много гадостей и трепания нервов - метался около полугода между семьей и любовницей. в итоге ушел к любовнице, которая сейчас его стала женой.
я с сыном уехала в другой город к родителям. жить в городе бывшего было негде (он нас выгнал из квартиры).
после развода какое-то время отношения были спокойные. я приветствовала визиты папы к сыну, постоянно присылала новые фотографии, уговаривала ребенка с папой поговорить по телефону.
теперь суть конфликта. папа хочет забрать сына к себе на неопределенное время. со мной на эту тему говорит на повышенных тонах, обвиняет во всех грехах, упрекает, что я препятствую общению с ребенком. я никак не ограничиваю их общение, НО сейчас требую, чтобы это общение происходило в нашем городе. главный агрумент папы "я на эти поездки по 60 тысяч выкидываю". (раз в 3-4 месяца на 2 дня). на мои предложения сократить эти расходы за счет того, чтобы не брать с собой новую жену и жить в более скромной гостинице, бывший начинает орать, что его жене хочется общаться с сыном. он ей нравится.
не скрою, что мне это очень неприятно. я бы не хотела, чтобы эта женщина общалась с моим ребенком. но я с этим смирилась, она с ребенокм познакомилась и общалась в последние их визиты. ничего не поделаешь...
сейчас я просто боюсь отпускать трехгодовалого ребенка с папой. сын очень и очень активный. я не уверена, что там за ним будут смотреть. к тому же ребенка могут мне не вернуть. на это уже намеки были.
в итоге я сбежала на дачу (сняли недалеко от города), чтобы папа не знал, где мы. домой иногда езжу, но постоянно боюсь, что примчится бывший муж и отнимет ребенка.
меня это убивает уже... я просто хочу покоя без трепания нервов. к тому же сын очень чувствует мое настроение. если я взвинченная, то он сразу устраивает истерики.
к тому же он у меня мамсик. спит со мной. один раз за полгода выбралась вечером с подругами в бар, так мои родители укладывали ребенка 1,5 часа с истерикой "где мама?"
мне надоело пытаться договориться с бывшим мужем по хорошему. если я хоть одно слово поперек его мнению скажу сразу крики. действует только тотальный игнор. но так же нельзя! я консультировалась с адвокатом. мне сказали, что в суд должен подать папа. на определение времени их общения. папе этот вариант не понравился.
я не знаю, что делать... ну отсидимся мы лето на даче. а потом что? осенью в садик идти. и опять каждый раз подходить к саду с трясущимися коленками "а вдруг ребенка уже забрали?".