Токсичные отношения. Как один раз отказать и больше к этому не возвращаться?

Добрый вечер. У меня вот такая проблема, токсичные отношения. Расскажу подробно.
На протяжении 5 лет я встречаюсь, если это можно так назвать с мужчиной.
1 год отношений он меня переделывал, я влюбилась и поддавалась на все его хотелки, а именно отказаться от друзей, почти никак встреч с подругами, моя жизнь состояла из дома и учебы, иногда мы выходили с ним куда-то посидеть (кафе, кино). При этом мы не жили вместе, я познакомила его со своими родственниками, родителями. Он меня к себе в дом не приводил, говорил, что познакомит с мамой только свою жену и так как мы не долго встречаемся и он во мне неуверен ещё, хотя я делала все что он мне скажет. При этом я очень болезненно переносила все его гулянки и ругалась, спорила с ним, за это он меня мог ударить, схватить, талкнуть. Вообщем так было год-полтора. Потом я узнала о его измене, случайно увидела переписку с другом, он там в красках рассказывал как у них все происходило. Я прервала всё общение с ним. Он месяц каждый день мне звонил, присылал цветы, извинялся, приходил плакал, говорил, что кроме меня никто не нужен, стандартный набор.
На протяжении следующих двух лет мое отношение к нему охладело, мне стало все ровно, чем он занимается, с кем общается, я стала общаться с кем хотела и ходить куда хотела, без его разрешения, у меня появились поклонники. Он наоборот стал более уважительно ко мне относиться, но гулять со своими друзьями он и не заканчивал, я уверенна что были измены с его стороны ещё не раз, просто я занималась своей жизнью, строила карьеру, путешествовала, нас связывал только секс. Этой зимой я перекратила все общения с ним, всё это время общалась с мужчиной, но спустя 2 месяца он объявился и я порвала все отношения и вернулась к нему. Сейчас у нас отношения похожие на качели, как только я или он сделаем что не понравится друг другу (чаще всего он косячит, гулянки с друзьями)
То мы перестаём общаться на месяц примерно и потом он мне звонит мы встречаемся у нас случается очень страстный секс и мы общаемся ровно до того момента, пока что-то не случится.
На данный момент у меня хорошо оплачиваемая работа, руководящая должность, сама приобрела квартиру, путешествую раз в пол года. А он как работал у отца так и ни к чему не стремится. Я пыталась ему объяснить, что хочу уже семью, серьезные отношения, он мне говори, что ещё не время, я считаю, что просто он не хочет. Ему удобно такие отношения со мной.
А проблема моя заключается в том, что я росла без отца и видима не дополучила мужской любви в детстве и сейчас не могу отказаться от мужчины, готова забыть всё, лишь бы меня обнимали, ласкали, мне кажется он это понимает и пользуется этим. Потому что после любого конфликта между нами, он начинает мне писать на сколько меня любит, малышка, котик все эти приятные слова. Мне очень нравятся его аура, мне спокойно с ним.
Но я понимаю, что он не тот мужчина с которым надо строить семью, точнее с ним её не будет вообще.
Прошу помочь мне отказаться от него и ставить свои желания выше его, полюбить себя на столько, чтобы сказать один раз нет и больше не возвращаться.
Может есть какие-то способы, у меня внутри какая-то неполноценность, пустота, хотя многие мне говорят, что мне не на что жаловаться, не жизнь, а сказка, а отношения это ерунда, ещё молодая 100 таких найду.