Ждать или бесмысленно?

Cитуация такая. Имею любовника. Встречаемся полтора года. Ровесники. Познакомились на работе, отношения в начале развивались стремительно, дико и страстно. Сразу знала, что женат. Но на первых десяти свиданиях пел грустную песню о том, что жена надоела, не любит ее, бесплодная, некрасивая, секс отвратительный... живет и мается с ней (по его словам) без малого девять лет.
Есть нюанс - все время пытались завести детей, но не выходит, год назад это дело бросили, потому как безнадежно. У жены истерики и нервные срывы на почве своей болезни, жалеет ее и не бросает.
Второй аргумент - страшная ипотека на тридцать лет. Платят оба, как расстаться и где жить - не представляют.
Одним словом, отношения наши были сказочные, пока не попросила развестись. После этого пошла волна грусти и новое нытье "пока не могу, подожди, надо разобраться со всеми материальные вещами".
Что имеем? Не разводится, меня предпочитает иметь как любовницу, при этом "люблю - жить без тебя не могу", но по факту действий никаких. Бросала его за все это время раза три уже. Хватало ненадолго, между нами сильная зависимость – и сексуальная, и моральная. Если я и «уходила на дно», то он начинал, писать, звонить.
С работы пришлось уйти, потому что страшная мука видеть его и видеть, что он ничего не делает. Разговоры на семейную тему «табу». Говорит, чтобы я не лезла, что он сам по-тихоньку все решит.
Самое смешное, что я ради него от своего мужа ушла и официально оформила развод, так как не хотелось врать и изворачиваться. Муж до сих пор обратно зовет.
Жену видела. Симпатичная девочка, имеет неплохую карьеру, правда зависима от него в материальном плане, с бесплодием все серьезно – диагноз «детская матка», т.е. матка, которая просто не может выносить эмбриона. Но слышала в принципе, что с таким диагнозом все же рожают…
Короче говоря, всякий раз спрашиваю у него: в детях проблема или ты ее уже не любишь? Чего тебе с ней не живется?! По его словам, он с ней даже не разговаривает, нет ни общих интересов, ни идей по дальнейшей жизни. Видела их квартиру, действительно, ощущение такое, что жена в дом все тащит, строит планы… а он как будто пережидает: не дает ей особо ничего покупать, сам не покупает. Живут, как на вокзале. Пытался узнавать цены, чтобы продать квартиру… Ну и в общем все его телодвижения в этом направлении.
У меня жилье есть, ребенка я ему родить пообещала, морально его поддерживаю, материально от него не завишу (уровень з/п такой же, как у него), сижу и думаю - ПОЧЕМУ НЕ РАЗВОДИТСЯ?
И есть ли смысл, веря его словам «Подожди», ждать?
У кого-то мужья реально уходили к любовницам? Может ли бесплодие жены стать «последней каплей»?