Как поступить?

Не могу решиться начать отношения с бывшим любовником... Что останавливает? 5 лет совместной жизни с гражданским мужем. Сознание того, что он все таки любит меня. Моральные принципы мешают, опять же.
С другой стороны, секс раз в два месяца,желание иметь детей (у мужа двое детей от предыдущих браков, ему, видимо, не очень нужно).
Общество, подскажите, стоит ли терпеть и ждать у моря погоды или же, поправ законы морали,броситься в объятья любовника?