Вы пишете о человеке, который разошёлся с прошлой женой из-за измены. Это ведь показатель того, что и в прошлых отношениях по каким-то причинам у них с женой не сложилось близких отношений.
Тогда нет ничего удивительного в том, то как только ваши отношения перешли в разряд близких отношений, в них начались проблемы. Проблема же не в человеке, а в неумении выстаивать в близости с другим.
Поэтому Ваши слова:
Что я не так сделала.
Не совсем справедливы. Вопрос лучше задать "Что мы оба не так сделали?" И "как мы оба убегаем от близости?"