Вы совершенно правильно написали:
Но этого должны же желать двое. И каждый должен выбрать своего супруга вновь.
Это действительно ответственность двоих - принимать или нет, прощать или обижаться.
Что касается Вашего чувства вины, то здесь ведь тоже есть две разные стороны: Вы что-то сказали и сделали - и это Ваша часть.
Но и Ваш муж, вместо того, чтобы сказать что его ранили Ваши слова и как-то с этим разобраться - просто сбежал от этих прояснений.