Как завершить отношения с начальником?

Ровно год назад в командировке после достаточного количества алкоголя произошла близость с шефом. Он мне до этого никак не был симпатичен - 51 год, невысокого росточка, выглядит на свой возраст и имеет жену и молодую любовницу. Но что случилось - то случилось. И как это часто бывает - после секса проснулись "чувства" и привязанность. Так всю командировку и проспали в одной кровати. Потом случилось возвращение домой, я снова вспомнила, что у него есть уже любовница, и она приходит к нему пусть не часто, но каждый раз - как ножом по сердцу. Любви у меня к нему, конечно, нет. Но привязанность и страсть имеются. У нас регулярный хороший секс. Была еще одна 2-х недельная командировка, снова все время провели вместе. Но меня вся эта ситуация перестала устраивать. Надоело осозновать, что я постоянно на последнем месте, после супруги и любовницы. Он мне никаких признаний тоже не делал. Вроде как секс и секс. Пару раз я заводила разговор о том, что хочу все это прекратить - не отпустил, сказал, что очень дорожит мной и "нам очень хорошо вместе". Работу я терять не могу сейчас, т.к. обеспечиваю свою семью...а как выкрутиться из ситуации - ума не приложу.