Гражданский муж требует вернуть деньги

У меня как говорят "гражданский брак". Ребенку 3 года.
Отец вписан в св-во о рождении.
мой гражданский муж хочет уйти от меня и требует денег.
вопрос - по человечески - должна ли я ему их отдавать?

когда мы с ним познакомились, то я выплачивала ипотеку в 1 ком кв-ре, и жить мы стали в ней.
Потом он получил наследство (около 1 млн руб), из них отдал мне 500 тыс, и на них я ипотеку закрыла, и сразу же взяла ипотеку на 2 комн кв-ру. Ее я оплачиваю до сих пор.
Почему я говорю "я оплачиваю" - потому что за все это время нашего совместного проживания он не принес в дом практически ни копейки своих заработанных денег.
Он музыкант, играет в своей группе, и собирается стать суперзвездой (ему 35 лет, если что). 500 тысяч, которые у него были от наследства, он частично потратил на машину, частично на группу и "раскрутку", ну и месяца три-четыре пока деньги были вкладывал их в семейный бюджет (в смысле, покупал дорогущие фрукты зимой и выпивку и сыры из глобус гурмэ).
Я не уходила в прямом смысле слова в декрет, и в роддоме была с ноутбуком и работала.
При этом он мне всегда говорил, что еще чуть чуть у нас будет много денег, потерпи родная, я все для тебя сделаю, подарю тебе вон ту звезду. Ну конечно же тебе совсем необязательно работать, моя женщина должна сидеть дома и ждать меня там. Но мне нужна вот такая гитара "название марки" стоимостью 70 тыс руб, мне для выступлений нужен вот такой костюм стоимостью 50 тысяч, мне нужен вот такой медиатр стоимостью 3 тысячи и т.д.
На свадьбы и прочее он не ездит, т.к это означает "терять лицо", периодически у них бывают некие сейшны, там им вроде что-то платят, но сразу же тратится на выпивку и билеты, т.е. я этих денег не вижу совсем нисколько.
Собственно вопрос.
Он говорит, что я по человеческим законам должна вернуть ему эти 500 тысяч рублей, раз у нас с ним семейная жизнь не сложилась.
Я хочу послушать мнение общественности.
Что говорит моя семья, думаю, и так понятно...
По факту. Понятно, что алиментов я от него не получу никогда. В течение 4.5 лет, которые мы живем вместе, семью фактически полностью содержала я сама. С ребенком он помогал, когда был в городе и трезв, всегда соглашался посидеть/погулять, попу помыть и т.п - без проблем.
С тем, чтобы эти 500 тыс считать алиментами на ребенка он не согласен, говорит, буду платить, сколько смогу.