Научите разрулить ситуацию с соседом

Похоже, я встряла. В такой ситуации первый раз. В реале обсуждать ни с кем не хочу.
Проблема - Сосед. Старше меня на больше, чем 20 лет. Женат. У меня с его женой очень хорошие соседские отношения.
Чертова корона выгнала меня гулять каждый вечер. Сначала присоединилась эта Соседка. Потом он. В какой-то момент соседка уехала в командировку, и его я звала по привычке, он не отказывался. Через несколько дней начал благодарить меня за «наши вечерние прогулки». После прогулки приглашал пропустить стаканчик, я не отказывалась :-( это было нормально для меня, мы и раньше могли втроём посидеть, попить потрещать.
В последнее время у меня стало больше работы, домашние заботы стали отодвигаться на вечернее время, гулять получалось не каждый день. И началоооось :-( как он по мне скучает и вся подобная херотень :-( пишет в Ватсапп, хотя пользуется им очень редко, или, последний раз по емайлу, к которому имеет доступ жена.
Я не знаю, как себя с ним вести. Как с соседями, отношения с ними портить не хочу. Как мужчина, а тем более как любовник, он мне не интересен. «Наслаждаться» его чувствами я не хочу и не умею. Такие односторонние чувства меня очень напрягают :-(
Короче, люди, спасите помогите научите :-) голова в кучу. Сама уже не справляюсь, прошу коллективных подсказок :-)

Всех заранее благодарю :-)