Чувствую себя виноватой

Здравствуйте! Мне 41 год. Была 2 раза замужем. Последние отношения продлились почти 5 лет. Может быть во мне что то не так или я нахожу себе таких мужчин? Хочу рассказать о последних отношениях. Изначально молодой человек сказал - будь моей любовницей. Хотя с женой на тот момент он разошелся (официально они не были расписаны). Жена с дочкой 5 лет переехала в новую квартиру, а он с сыном 16 лет остался в своей квартире. Я оставалась у него ночевать, но при условии его жены - если я остаюсь у него, сын должен отвести дочь домой (дочь очень часто оставалась у него ночевать). Я его всегда спрашивала - почему мы не живем вместе - он отвечал - ну как? У меня же семья - жена, дети..., да и денег пока нет, зачем тебе вешать на шею меня и сына, да и ты была 2 раза замужем - ничего там хорошего нет, зачем тебе это. Меня все устраивает и если тебя что-то не устраивает - так сделай так - чтобы все устраивало. Бывшая жена диктует ему условия - он соглашается - якобы - это все ради детей - соответственно и дочь настроила против меня (мне даже не давали возможность наладить с дочерью отношения, сын относился ко мне нормально).
Он мне постоянно рассказывал о своих бывших любовницах, что они звонят, что у них сейчас происходит. Я ему неоднократно говорила - меня они не интересуют, мне неприятны все эти разговоры - на что он отвечал - я тебе доверяю, поэтому рассказываю, а ты меня ревнуешь и ты мне не доверяешь.
На данный момент он живет один (сын ушел в армию) - я все надеялась, что он позовет меня к себе жить - увы. Я завела на эту тему разговор - почему ты не хочешь со мной жить - он сказал - где мы будем жить? Я ему ответила - пока у тебя, потом видно будет, Он - как ты это себе представляешь, ты сбежишь от меня через месяц и нет у меня материальной возможности вместе жить (хотя деньги на тот момент были, да я и не прошу золотые горы, сама хорошо зарабатываю, да и нажилась уже с богатым).
Я в очередной раз все проглотила - сделала для себя выводы, но мы продолжали встречаться.
Когда он выпивает - он постоянно мне говорит - брось меня, давай расстанемся, давай поставим точку в наших отношениях. Когда трезвеет - говорит - не слушай меня, когда я пьяный (пьет по праздникам, не злоупотребляет) и дальше опять все хорошо.
В последний раз отдыхали в кафе с друзьями - опять очередные пьяные разговоры - ты мне не доверяешь, ты меня ревнуешь, ты не настоящая, ты меня не любишь, давай поставим точку. В итоге - он меня проводил домой, сам ушел к себе (так повторяется последнее время, хотя раньше всегда шли либо ко мне либо к нему).
На утро я позвонила поздравила его с праздником. Хотела придти его поздравить - в ответ я услышала - я лежу на диване, мне хорошо одному, не надо ко мне приходить, я спрашиваю почему - говорит - плохо мне, хочу побыть один, что тут непонятного (так уже было не один раз - просто у него нет настроения и не хочет никого видеть). Соответственно у меня - слезы, обида (накануне в кафе мы с подругой расплатились за кафе - сделали подарок своим мужчинам, а на утро услышать все эти его слова - за что?).
Я по натуре человек не конфликтный, я не люблю ссоры, разборки, соответственно - у меня всегда ступор и позднее зажигание (я потом думаю - что мне надо было ответить так то и так).
Я решила пойти с ним поговорить. Когда пришла - он сказал я ничего не буду говорить - в итоге я ему сказала - что я ничего тебе плохого не делала - чтобы ты разговаривал со мной таком тоне и так ко мне относился. Сказала - что я устала перед тобой унижаться бегать за тобой и что эти отношения нужны только мне, а тебе пофиг (каждый раз когда мы ссорились - он никогда не звонил первый, даже если сам обидит, то есть делает меня виноватой и обижается).
Я давно уже поняла - что нет будущего у этих отношения, меня нет в его планах. Он со мной встречается максимум 2 раза в неделю и ему хватает и его все устраивает.
Говорят все зависит от женщины - знаю многих - которые перешагивали через себя и жили с этими мужчинами всю жизнь. Я так не могу, мне противно, обидно, тяжело.
Но в то же время я его люблю, я очень сильно по нему скучаю, мне плохо без него, мне спокойно с ним, уютно.
Может я себя не правильно веду, может просто принимать его таким какой он есть, молчать и дальше продолжать отношения. Может мне моя гордость мешает мне строить отношения.
Но с другой стороны - проглатывать обиду и делать вид что ничего не случилось...
Может не надо было мне в тот день идти к нему, а позвонить на следующий день и все было хорошо.
Или все таки я все сделала правильно и давно уже надо было разорвать эти затянувшиеся отношения, у которых нет будущего.