Мне бы совет от вас надо..

Ситуация, мягко говоря, некрасивая.
Итак: Я живу с супругом и двумя сыновьями. В квартире напротив живет сосед с женой и дочерью. Этот сосед - мой любовник.
И все бы ничего, если бы он не начал настойчиво предлагать оставить нам обоим своих супругов и начать совместную жизнь в любви и счастье до гробовой доски.
Вот и не знаю, что с этим делать.. Муж мой - гавно. Но кинуть его пока духу не хватает, да и соседову семью рушить не хочу.
Как быть?????