Семья любимого ненавидит. Как с этим жить?

История длинная.. извините.

Больно мне очень.

2 года встречаюсь с мужчиной. Любовь головокружительная. Безумная. Взаимная. Работаем вместе. Он на 20 лет старше. Когда начали общение, просто дружеское, оба состояли в браках. К сожалению, нас понесло и дружба переросла в настоящую любовь.
С мужем я до того момента расходиться не собиралась, у нас 2 детей, жизнь была спокойная и рутинная, но без любви с моей стороны. Но понесло и меня и любимого, закрутило.

...Мы оба очень болезненно развелись. Я после 8-летнего брака, он после 30-летнего. :(
Он меня упрашивал развестись, но я была против обоих разводов.
Но когда все было очевидно, мы решили создать семью..

..Наконец только что разобрались с жилищными проблемами и он должен был переехать ко мне, но тут у нас и состоялся серьезный разговор.

Дело в том, что его все родственники (сестра, братья, дочь, мать) считают меня виновницей распада его семьи, (хотя это не так, а наоборот, ОН развалил мой брак... но ведь женщина всегда виновата) - и знать меня не хотят.
Все находятся на стороне бывшей жены, а меня, не видев в глаза, не общавшись ни разу - заочно ненавидят.
Он мне сказал, что мать и дочь никогда меня не примут и не будут разговаривать со мной и знакомиться.
Мне от этого очень больно. Я посоветовалась со своими родителями на эту тему (моя-то семья его принимает, для них лишь бы мне было хорошо) и они сказали, что "ну ведь он может с ними не общаться". Наивные.
Он мне сразу сказал, что он будет продолжать с ними общаться, говорить по тел., ходить на совместные семейные праздники и т.д. Но без меня. Ведь меня НЕ ПРИНИМАЮТ И ЗНАТь НЕ ХОТЯТ.
Когда они будут ему звонить, то они будут звонить на МОЙ домашний телефон, потому что он планировал переезжать ко мне.
У меня никогда не было такой ситуации и я не знаю, как себя вести.
Говоря откровенно, это ущемляет мое достоинство, поскольку я НИЧЕГО им не сделала, только наоборот, я хочу познакомиться хотя бы и чтобы иметь просто человеческие отношения.

В итоге, я поставила условие: или я или они. Он сказал, что с дочерью и другими можно попытаться договориться, хоть и вряд ли отношения будут теплыми. Но мать давно приняла решение, что знать она меня не хочет и я ей не невестка. Невесткой ей навсегда останется б/ж.

..Я приняла решение расстаться. Это так больно. Тем более я сердцем знаю, это мой человек. И он тоже жить без меня не может. У нас всегда были идеальные отношения! В быту, в сексе, во всем абсолютно.

Но как мне жить с этой ненавистью его роственников? Я не смогу при ежедневном общении.

Скажите мне что-нибудь.