БМ забрал ребенка

С БМ в браке не состояли, перестали жить вместе с рождением ребенка, не буду вдаваться в подробности, все три года он не работал. только несколько месяцев, денег не давал, но достаточно плотно общался с ребенком
вчера он забрал ребенка погулять и не отдает (тут месть исключительно мне идет), говорит, не отдам тебе и все, на выходных возьмешь к себе, я работаю, он не работает
понятное дело, я буду подавать в суд на определение места жительства со мною, но сейчас я могу забрать себе ребенка с милицией (мальчикку три года) или нет? ЧТо делать то вообще?