Мужчина в разводе, но с бывшей женой общается, как в браке. Как отпустить этого человека?

Я замужем, он в разводе. Но с бывшей женой поддерживает частые отношения. Будто и не было развода.
Мне к нему тянет безумно, каждый день о нем думаю, вспоминаю наши встречи. Ему от меня кроме секса ничего не нужно, знаю что не одна у него. Если сама звонить не буду думаю не особо растроится и переключится на других.
Совместной жизни с ним не вижу, причин много (часто выпивает, бегает к бывшей. Ходит по кабакам, да и сам говорил что вместе нас не видит, ничего не получится) я думаю боится что раз мужу изменяю то и ему буду. Ну или просто не интересую как жена. Только секс. Вот именно он то нас и устраивает на миллион процентов. Как то предложила давай встречаться, в ответ нет. Пробовала и романтиками заманивать, и ухаживать, заботится. Ничего не принимает. Говорит не надо, зачем. А у меня от него крышу рвет просто. Я как неадекватная. Никого больше не вижу, не замечаю. Наплевать стало на семью, мужа, ребенка. И на себя. Стала позорится перед ним, навязываться, встречать, выслеживать, звонить по сто раз, ревновать, лазить в телефоне. Уже не раз ругались по этому поводу. Стала как маньяк. Категорически не пускает в свою жизнь. А я понимаю что и мне это ни к чему. Обоим не нужны отношения. Как отпустить его, так всем лучше будет. У него своя жизнь останется, а я семью сохранить хочу. И хочу спокойствия, а не путевку в дурдом.