Секс или что-то большее?

Поможите, кто может, неопытным в романах.

Назрел роман с коллегой. Общего у нас - как гуталину у кота Матроскина, завались. Женат не так давно. Жену любит, сам говорит (она, кстати, младше меня). Не мальчик, скоро 40. Романы были, но не очень много, не так, чтобы бабник.
Я са-авсем не секс-бомба и ему почти ровесница. Но сидеть рядом может не всегда - если расслабится, это становится неприлично :) Он списывает это на похоть, но неуверенно. А у меня сомнение возникает. Короче, это может быть только секс?