Тараканы берут своё или надо быть более категоричной

Встречаюсь уже два года с мужчиной (33 года) ,мне 31 . У меня сын ,у него дочка от первых браков( он был так сказать в "гражданском браке" сожительствовал в общем ) я была официально замужем . на вопрос когда будем жить вместе . говорит что он берет дочку к себе ,потому у меня должны быть условия ,что бы его дочке было где спать у меня в квартире. ( я живу с мамой и сыном),место где жить есть ,. Потом поругались ,после моих слов, что семья это когда живут вместе , он сказал ,что я зациклилась на том чтобы жить вместе и что всему свое время. А потом когда я спросила его хотел бы он официально оформить отношения , он сказал что боится,что если мы съедемся ,я буду на этом настаивать. Встречаемся по выходным и то не всегда, потому что он ,то дочку берет к себе ,то может уехать к родне в другой город. В будни он два раза в неделю ходит к дочке..потом на неделе может встретиться с друзьями. Общения мне не хватает,конечно вы можете написать,что мол ой какие шикарные отношения .наслаждайтесь,что еще надо ..вечная романтика..но не все так ,я начинаю заморачиваться,может два года это рано,чтоб бить тревогу ) или надо более категорично себя вести..ставить условия . Хотя при попытке сказать,что мол мое желание жить вместе ..такое что постоянно думаю об этом,на что мне говорят "это что ультиматум? если тебя не устраиваю я как ,то может надо другого искать" или " ты слишком себя накручиваешь".