Чувство вины. Как от него избавиться?

Мне 37 лет. Не замужем. Состою в отношениях с мужчиной 53 лет. Наши с ним отношения можно назвать служебным романом, так как и он и я работали в одной организации. Он был женат. Брак с женой длился 30 лет. Кстати... Она тоже с нами в организации работала и работает до сих пор. Но на протяжении 14 лет он то и дело приударял за мной. Я отнекивалась, уходила так сказать вовремя и не поддавалась на его ухаживания. До поры до времени. Моя жизнь шла своим чередом, брак, дети и т.д. но я развелась и стала свободна одна и с тремя детьми, достатрчно взрослыми уже. Вот тут все и началось. И я позволила всему этому случится. Дальше больше. Отношения перерастали с огромной скоростью в семейные. Он мне сказал что жить без меня не может и будет жить со мной. Я была против чтобы он оставлял свою жену, так как она инвалид (лишена кисти левой руки) и что ей нужна помощь и поддержка, но он настаивал на том, что с ней жить уже не может. Что все рухнуло у них давно. И что любит меня. Он ни о чем не жалеет. Ушел от жены (сын уже взрослый), оставил все ей, они развелись, его жена кричала в след что будет мстить. И мне и ему пришлось уволиться - коллектив категорически настроился против нас. И вот уже два года а я не могу найти покоя... Как на мой характер ну не поступают так... Не бросают когда человек в тебе нуждается... Тем более если инвалид. Меня это мучает. Но при этом я его никому не отдам. Это мой мужчина. Как мне избавиться от чувства вины? Ведь я лишила эту женщину опоры и поддержки.