Идеальные отношения с любовником это как?

первый раз завела любовника на работе, и не понимаю как с ним общаться. До этого был со стороны и я как-то не парилась, просто ждала звонка, и если возможности совпадали мы встречались. Не видела его, не думала как он живёт. А теперь всё рядом и я совсем растерялась.
После первой встречи он мне в аське писал постоянно, водил несколько раз на обед, вечером провожал. При этом говорил, что секс не главное, мне казалось ему нравится со мной и просто общаться, быть рядом.
Потом как-то без объяснений затих, я не стала приставать, ну мало ли что, он женат. Я тоже замужем. Потом спросил пару раз в асе как дела, я кстати была всегда приветлива, мы шутили. И когда я уже было подумала, что ему больше не интересно, он вдруг проявился, позвал опять на обед, потом предложил встретиться. Всё было супер, такая страсть, и после этого он снова пообщался в асе один день. Снова затих. Я сама попыталась пообщаться - дружелюбен, но не более. Ответит на вопрос и сворачивает разговор.
Меня стало это реально напрягать. То ли сидеть и ждать секс-приглашения как девочке по вызову, то ли он ждёт от меня какой-то инициативы, поэтому перестал так плотно общаться, то ли что?
Вообще, кто имеет любовников скажите как лучше общаться, какую позицию занять, пассивно-выжидательную? Не хочу париться, не хочу парить, но как сделать всем комфортно не пойму.