Он меня не хочет?

Живу в городе, маленьком. Я хорошо обеспечена, у меня есть одно хобби, хобби скорее мужское. Познакомилась на тему хобби с одним мужчиной, его очень увлекает эта тема. Я замужем, он женат. Стал иногда захаживать по выходным, хобби ради. Муж этим хобби не интересуется и не реагирует на моих приятелей по хобби, коих несколько. Иногда приходил вместе с женой, жена не заинтересовалась, перестала приходить. Однажды муж уехал в командировку, так и начался наш роман. Но роман наш от выходных до выходных. В будни крайне редко пишет и никогда не звонит. Все это сложно, потому что у меня муж почти всегда дома, но спокойно отпускает, если мне надо отлучиться.
Так вот..
Вроде, и темы для разговоров у нас с мужчиной есть, и хобби, а среди недели тишина.. Очевидно? Вроде, да.. потом подходят выходные, и он ломится мне в квартиру, глаза горят. Но горел бы, звонил и среди недели..
Что делать? Он мне нравится