Место встречи изменить нельзя?

Просветите меня, более опытные.
Вообще всю жизнь была правильной, честной; ненавидела ложь и измены. Мне той же монетой не платили, к слову, но сейчас не об этом.
В общем, угораздило влюбиться на старости лет, да еще и в женатого. Таких чувств не было никогда ни к кому. Семью с ним создавать не планирую, боли никому не хочу, но хочу любить его сколько любится. Он женат тыщу лет, дети относительно взрослые. Проблема у нас в месте для встреч. Встречаемся мы в отелях. Не в пятизвездочных, но в приличных. Место он всегда выбирает сам. Причем вместе бываем за редким исключением всего часа три, дольше оба не можем. Он не нищеброд, но и хорошо обеспеченным его не назовешь. Я понимаю, что для него это ощутимые траты, но делаю вид, что я об этом даже не задумываюсь.
При этом его жена довольно часто уезжает к родителям в другой город, и он остается в квартире один. Он не раз звал меня к себе. Но я почему-то не могу согласиться. Он в ответ недоумевает, а я не знаю как ему объяснить, ПОЧЕМУ я не хочу идти к нему домой. В народном творчестве в виде анекдотов сплошь и рядом - "возвращается муж (жена) из командировки...", то есть люди спокойно сексятся у второй стороны дома. А я почему-то не могу. Может, я зря загоняюсь, а эти деньги можно было бы потратить с бОльшим толком?