Принудительная выписка детей

Ситуация такая. Жили в гражданском браке,есть двое детей ( 6 лет и 1,5 года). Дети прописаны в квартире отца в Москве, он единственный собственник (пл. 100 кв.м). У матери, т.е. меня есть своя квартира, однушка, где я и прописана (тоже Москва). С гр. мужем разошлись месяц назад, я уехала в свою квартиру вместе с детьми. Отец настаивает на выписке детей из его квартиры в мою, т.к. он хочет квартиру продавать. На мой отказ он грозится подать в суд и выписать детей принудительно. Какие должны быть мои действия?
Разошлись очень плохо, т.к. он выпивает, дерется и т.д. Алименты также платить не намерен пока дети не будут выписаны из его квартиры.