Хочу уйти от мужа

Ситуация такая. Замужем почти 12 лет. До этого еще 4,5 года просто встречались с ним. Грубо говоря, человек, будучи на 6 лет меня старше, просто "вырастил меня под себя". С ним начала встречаться в 17 лет, в 21 год - брак, в 24 года - ребенок.
Закончила институт, пошла на работу. Там я встретила мужчину, с которым у меня возникла симпатия. Даже не могу описать всю свою жизненную ситуацию....получается, что с ним вместе, я уже 10! лет. Сначала это были просто дружеские отношения, потом больше, потом еще и еще. В итоге 5 лет назад мы стали любовниками. За это время он успел развестись с женой (детей нет), а я - родить ребенка от него.
Хотела уйти от мужа, рассказала все ему, когда ребенку было 4 мес. Но, он плакал, реально плакал и говорил, что любит ребенка как своего и никогда не будет у него чувств других к этому ребенку.
На "весах" я взвесила все "за и простив". Все же есть старший ребенок, который любит родного отца, есть младший, который не его, но он его растит, есть я - которая ну не знаю...очень привязана к мужу, как к родному человеку и решила остаться с мужем.
Прошло 1,6 года........
Все, не могу опять, хочу быть с отцом младшего ребенка. Тем более, он ждет, он всегда интересуется, для него - мы всё.
Что мне делать? Продолжать жить дальше с мужем? Или разводиться (но тогда это просто скандал среди близких людей, папы, мамы....да и мужа я люблю, но и отца старшего люблю, а он его).
Посоветуйте, я запуталась!