Муж грозиться отнятьребенка

У меня двое детей. Сын и дочь, старшей 3,5 года. Воспитывала практически одна. Муж не помогал, его мама брала иногда Ксюшу (старшая) на пару часов в выходной и в это лето несколько раз БМ возил ее на дачу на два выходных. Ни разу они не водили ни на занятия, не сидели с детьми, когда те болели. Они НИЧЕГО про них не знают и никогда у меня не интересовались. Когда им было скучно (воскресенье, не дачный сезон, делать нечего и т.д.) они соизволяли поиграть пару часиков и то, чтобы дети не кричали, не плакали и т.д.
После развода сначала я не препятствовала общению БМ и его мамы с детьми. После одного посещения мама "обиделась" и больше не приходила (это стандартная ее практика). БМ тоже не горел желанием. Поскольку мне неи нравилось нерегулярность и необязательность их появлений (например берут только одного из двух детей), я стала строить свои планы на воскресенье и нас не бывало дома. Добавились еще разногласия (они выписывают Ксюшу из квартиры), и я практичесик прекратила эти "визиты" т.к. мне противно с ними общаться и ребенок это видит.
Теперь мне прислали СМС "не хочешь идти на компромисс и давать детей, заберем через суд Ксению".
Я понимаю, что это "пугалки", но червячок точит душу. Я боюсь, а вдруг украдут ребенка? После таких заявления разумеется ребенка ни под каким предлогом БМ не дам.
НО я боюсь! 3 раза в неделю мы вынуждены ходить мимио их дома, мы ходим на занятия (он знает их расписание). Я конечно слежу, но вдруг... Я боюсь