Что делать, если муж проводит время с чужими женщинами?

В браке - 20 лет. Отношения были больше дружескими чем романтическими. Жили уединенно, друзей не было у него, и я всех растеряла с момента замужества.
В прошлом году неподалеку от нашего дачного поселка поселился одноклассник мужа с молодой женой. Нам 45-47, молодой жене 35. У них там закрутилась тусовка с посиделками, ночными купаньями, танцами. Я там была несколько раз с мужем, а потом заскучала - каждый раз одно и то же. Все напиваются, одни и те же шутки. К молодой жене приезжают молодые подруги на эти тусовки. Все в шутку флиртуют, а я в этом неалё, честно говоря. В общем, в какой-то момент я перестала туда ездить, а мужа отпускала - у нас с ним все на доверии.
Некоторое время назад муж ездил в бар с этим одноклассником и его женой. Мне это норм, хочет муж развеяться - его право.
Но вчера я случайно узнала, что там была еще подруга жены, и муж мне об этом не сказал. И еще они собирались поехать скоро на дачу к этому однокласснику компанией, где по-видимому будет эта подруга. То, что они туда едут муж мне сказал, а подругу видимо опять умолчал бы.
Звучит дико, понимаю, но мы с мужем прожили всю жизнь в доверии и свободе. Оба приняли решения не изменять и держались его, хотя у обоих возможности были.
Отношения у нас и сейчас очень хорошие.
Но это замалчивание по мне ударило. Я вчера просто сказала, что беды в том, что там была подруга -нет. Беда в том, что он это скрыл.
Муж сказал, что готов ради меня прекратить все общение с той семьей, но это неправильно, потому что он абсолютно чист передо мной, и он имеет право просто весело проводить время, чтобы расслабиться после ответственной работы. В общем-то, и правда, имеет он это право.

Как мне себя вести сейчас? Женской смекалки во мне никогда не было, я сейчас в растерянности.
Это вранье мне не нравится, но и вставать унылым камнем на его дороге, ограничивая его свободу, я не хочу.
Про любовниц мне не пишите, их не было. И с подругой этой, думаю, дело ограничивалось легким флиртом.