Ошибки прошлого. Боюсь, что муж о них узнает, думаю о разрыве отношений

Мы с мужем жили 4 года в браке, брак был по молодости если можно так сказать. Больше было негативного опыта, измены с его стороны, но он в них не сознается. Пьянки, я часто оставалась одна, крики с обеих сторон, постоянные разрывы. Одна ситуация мне запомнилась особенно, что решив его проучить я съехала, а он завел себе непонятные отношения. И я решила по дурости ему отомстить, заведя себе тоже непонятно кого, но быстро все оборвала, поняв, что не могу. И вот этот брак заканчивается. Я начала выпивать и вести образ жизни мягко скажем ветреный, попробовав забыть его. Но я его продолжала любить, так как начало брака было действительно хорошим, но после смерти его мамы - человек стал похож на животное. Вот мы сошлись снова с мужем, уже после развода. И этот человек действительно старается, и мы больше не совершаем ошибки, разговариваем о проблемах. И я действительно ценю эти отношения. Но... Не могу себя простить, понимаю, что он делал хуже. И мы были не вместе, но все свои связи воспринимаю как измену. И получается, чем он лучше, тем мне хуже. Так уж вышло, что мои связи были с людьми с которыми он знаком, я постоянно боюсь, что станет известно и он просто уйдет. Мне так страшно, что я думаю сама прервать эти отношения. Что делать?