Посоветуйте

Ситуация такая, знакома несколько лет с мужчиной по работе (женат, дети) , приятный, даже симпатичен мне, видела что нравлюсь ему в свою очередь. В один прекрасный день намекнул на интим, сначала даже не поняла в чем дело... Короче, у меня все вроде в семье впорядке, муж, с сексом проблем нет. Но! Я вижу регулярно его жену и не могу уже с ней нормально пересекаться, она видимо вообще не догадывается о том, что у нее за спиной. Держаться от них подальше? Как себя вести? Видимо веду себя странно, шарахаюсь от нее, мне ее просто по женски жаль, что муж такой кобель и я теперь вроде хранительницы этой тайны, что очень напрягает и чувствую себя почему-то виноватой тоже...