Бывший муж заставляет вернутся в родной город

Ситуация у меня такая, я разведена уже больше двух лет. У меня есть двое детей от первого брака.
Когда развелись я забрала детей и уехала жить в Мордовию (Это территория РФ) Сама и бывший москвичка. Когда уезжала он был не против и сам нас сюда отвёз. Теперь его периодически клинит и начинает орать, что заставит меня вернутся обратно!!! Вопрос вот в чём, может-ли он меня через суд заставить вернутся в Москву???
Дети и я не хотим, детям 10 и 6 лет. У нас тут семья, живём с любимым мужчиной и вместе воспитываем его сына и моих детишек, но официально не расписаны. Заранее спасибо.