Не понимаю любовника

Ситуация у меня непонятная, в одном топе не опишешь, но я постараюсь.
Я летом познакомилась с мужчиной, сразу договорились, что у нас будут только редкие встречи для близости.(ужасно звучит конечно). Все случилось не сразу,сначала мы просто гуляли, ужинали вместе. Хоть и знакомилась с ним ради секса, но не смогла сразу. На сегодняшний день мы встречаемся где-то раз в неделю, а в течении недели общаемся в интернете. Я замужем, у меня двое детей. С мужем у нас только формальные отношения о которых рассказывать, нужна отдельная тема. Поэтому и пошла на то чтобы познакомиться с другим мужчиной. Он тоже официально женат, но с семьей не живет. Т.е моральное состояние наше еще то. Отношения между нами очень бурно развивались, конечно и страсть была и есть. Но иногда он делает такие поступки, которых я не понимаю.
Он меня просто откровенно провоцирует на ссору. Мы встречались с ним на его съемной квартире. В определенный момент он сказал, что не хочет чтобы я туда приезжала, будем встречаться на нейтральной территории. Я проглотив обиду согласилась. Теперь он перед каждой встречей опять провоцирует меня на ссору. При этом при встрече он ведет себя так, что не могу оторваться от него. И я знаю, что ему со мной очень хорошо. Говорит такие слова, что голова кружится. Мне иногда хочется назначить встречу и не общаться с ним до нее, чтобы у него не было возможности ругаться. Я понимаю, что ему сейчас тяжело. Разлука с семьей и т.д. Но мне, поверьте, тоже не легче. Я могу один раз обиду простить, второй, но н для этого я с ним знакомилась.