Почему мужчина не хочет секса?

Кототко история. У нас четырeхугольник. Оба женаты, у обоих дети. Начали встречаться полгода назад. Полное взаимопонимание, но ухаживаний практически не было, как-то само все получилось. Первый секс случился довольно быстро и скомканно прямо на работе, потом был еще раз, и еще несколько попыток с его стороны, но в силу разных обстоятельств мы не могли встретится в интимной обстановке, часто только обедали в кафешке вместе. Встречались пару раз в неделю и проводили вместе время "как пионеры"))) Он уже ни на чем не настаивал, разговаривали, шутили, просто наслаждались компанией друг друга. Заметила, что он стал отдалятся... Сама предлагала, но он под разными причинами отказывался, говоря, что ему и так хорошо со мной и лучше оставить все как есть! Месяц назад наконец-то случился сногсшибательный секс (организованный мной, в идеальном месте), все было настолько хорошо и нежно... Он меня забросал смсками об этом в следующие дни. Но после он отдалился еще сильней!((
Вопрос. Что с ним? Почему отказывается от секса? Боится привязаться ко мне, потому что мы не можем быть вместе? Или я ему не нужна?