Выгнать мужа или нет?

АнгелинаКрасовская, здравствуйте!
Если Вы его возвращаете (и он возвращается), значит между Вами сохраняются отношения. В семьях может происходить много странного, травмирующего, болезненного и, казалось бы, патологичного, но на прочность союза не влияющее. Иными словами, пока не наступил тот предел, дальше которого терпеть Вы не намерены.
Предположу, что у Вас есть потребность выразить мужу ту степень дискомфорта, которую он Вам причиняет своими словами и поступками. И Вы выбираете такой способ, который, на Ваш взгляд, должен причинить ему равнозначное количество дискомфорта - выгоняете из дома. Дом, как я понимаю, принадлежит Вам?
Насколько я поняла вопрос, Вам хотелось бы понять, почему Вы мужа возвращаете.
Видимо, его реальный уход - это не та реакция, которую Вы ожидаете.
Отсюда к Вам вопрос - чего Вы от него на самом деле хотите, когда показываете на дверь?

винит каждый день меня за то что я не могу иметь детей

А Вы не можете иметь детей?