Ругаюсь со своим МЧ, уже готова его бросить. Как не совершить ошибку?

Мне 53 года, 20 лет я прожила в счастливом браке с мужем, муж умер 4 года назад, есть дочка от первого брака. Потом через 3 года я встретила моего МЧ Олега (ему 54). Он постоянно говорил о своей неземной любви ко мне. Мы вместе с Олегом уже 1,5 года и все это время мы с ним ругаемся (конфликты происходят на разные темы и упреки, и по поводу его выпивки, и он недоволен частотой интимных отношений и тд) и не находим взаимопонимания, наверное слишком разные. Только в интимном плане у нас все хорошо. Первые 2-3 мес нашей совместной жизни было все нормально, мы были счастливы, но потом стали появляться взаимные упреки, в частности начинал он упрекать, что слишком много на меня потратил, я ему постоянно говорила, что он слишком много тратит, но он не слушал, я стала ему отвечать, потом в ход пошли и оскорбительные нецензурные слова, потом через какое то время опять был мир, но когда я это вспоминала, мне совершенно не хотелось уже с ним и интимных отношений и он говорил, что ничего этого он не говорил, сказал, что я все придумываю, потом он предложил снять вместе квартиру и переехать в другой город поближе к работе, и там это все продолжилось, как только ему что то не нравилось он выходил из себя и начинал опять обзывать и выгонять, мне очень было плохо после этих конфликтов, появились проблемы со здоровьем, я терпела около года, все ждала что он изменится, потом уехала к себе, но мне его не хватало и в этот момент он опять стал уговаривать вернуться, что он изменился, я поверила ему. Но буквально через пару недель после приезда опять это все повторилось. В последний раз стычка была из за секса, так как я много работаю, рано встаю и часто бываю после работы уставшей, что мне не до этого. Он очень сильно вышел из себя, был просто бешеный, до этого мы отмечали 1 мая, Теперь я решила окончательно уйти, хотя конечно чувства есть до сих пор и сейчас он говорит да и все время, что я виновата в этих конфликтах. Подскажите, пожалуйста, что делать. Может я так остро на все реагирую, но мне кажется что я все правильно ему говорю. Но как жить с человеком, который постоянно позволяет такое поведение. Он опять уговаривает не бросать его, говорит, чтоб я не слушала что он говорит, но я уже боюсь, что не выдержу больше этого всего. Заранее благодарна за ответы.