Поможет ли ультиматум? помогите разобраться

Всем здравствуйте, у меня отношения с женатым мужчиной уже 2 года. встречи раз в неделю примерно, кроме того, он держатель бизнеса и руководитель, а также помогает снимать квартиру. У меня к нему чувства, думаю люблю его, у него ко мне скорее всего секс. Несколько раз хотела уволиться, так как конечно напрягает такая ситуация, когда тебя не любят - не отпускал. Теперь, полгода уже как, он взял к себе на работу свою старую коллегу и в прошлом любовницу, души в ней не чает, но говорит сейчас, что только все по работе, но они почти всегда на работе и по работе, решают рабочие моменты, близкие взгляды и душевная близость. Она его соратник.Она заняла мое место в его бизнесе. Со мной сейчас такого нет. Со мной в это время личные отношения не испортились, я несколько раз говорила, что есть мысли разорвать отношения,из-за нее, на что он мне отвечал, что это глупость, она того не стоит и что я сломаю себе жизнь. К жене у меня ревности никакой нет, из семьи его уводить мне не нужно. Это то, что имеем. То, что хочу: очень меня напрягает эта дамочка в его жизни и думаю разорвать с ним из-за этого отношения, поставив ультиматум или я или она, наверное глупо и ни к чему не приведет, но все также продолжать мне очень тяжело, извела меня ревность. Но если отношений не будет, сразу пропадает материальная поддержка, придется жить только на зарплату, из которой минус съем квартиры (сразу оговорюсь, я москвичка, но родительская квартира - это однушка, там родители и нам с ребенком там жить негде, поэтому съем), т.е. останется 20 тысяч. Если менять работу, то зарплата будет примерно такая же. Это пугает, как мне с ребенком прожить. Прошу совета, как быть? Стоит ли разрывать отношения или продолжать дальше терпеть? Как вы поступили бы на моем месте или может быть был кто-то в аналогичной ситуации?