Переезд к любовнику

Да, название противное, но так и есть. В данный момент стою перед выбором. Сходимся с мужчиной, оба ушли из семей. Мой БМ и его БЖ в шоке, скандалы и ненависть. У меня есть дети и у него. В данный момент я живу на съемной квартире. У него есть квартира, досталась от бабушки, то есть до брака, в которой он и жил с женой и детьми, где весь быт, уют обустраивала жена, ремонт делала под себя и т.д. Я не могу решиться на переезд к нему, все там будет напоминать ему о той жизни, хотя мужчины на этом не так зациклены, но все же. Развод проходит очень тяжело морально,она переехала к своим родителям, детей не дает, настраивает их против. Он настаивает на переезде к нему, а я не могу. Как бы вы поступили? Были ли у вас ситуации таких переездов, на еще "не остывшее" место?