Почему мой партнёр расстроился узнав, что бывшая жена нашла другого?

Мы с моим мужчиной в отношениях около 2-х лет. Когда мы встретились, то я знала, что он женат очень долго, около 18-ти лет. В семье есть трое детей. Влюбились друг в друга, начали тайные отношения. Впоследствии жена обо всем узнала, был дикий скандал. Мы рассталась, договорились, что так будет лучше для всех. Но я его люблю и он меня тоже, расставались с болью. Мужчина пытался построить отношения с женой заново, но ничего не вышло, она видела, что он тоскует по мне. Позже они поговорили и приняли решение разойтись. Решение далось крайне тяжело, но всем было объявлено о разрыве, дети в курсе в том числе. Мы с любимым стали жить вместе. Поначалу жена пыталась его вернуть, звала обратно, но он сказал, что все, отношениям конец. Но о разводе речи не шло, официально они разводиться по многим причинам не хотели. Думали, что чуть позже все решат, когда страсти улягуться и смогут договориться друг с другом. Постепенно супруга отошла от удара, они стали общаться спокойно. Сегодня он мне рассказал, что он виделся с женой, они поговорили. Договорились о мирном разводе, жена настаивает именно на официальном разводе, рассказала ему, что уже в отношениях с другим. И вот меня задела реакция любимого: он явно расстроился, что она тоже нашла себе пару, я явно увидела, что ему от этого больно. Хотя уверяет меня, что любит только меня и хочет быть только со мной. Но вот эта его реакция меня удивила: сам ушел к другой, сам пошел на измену. По идее, должен радовться, что жена не грустит и все у нее хорошо. А ему грустно, непрятно и т.д. Я чувствую себя ненужной ему, меня обидело это его сожаление о бывшей супруге.