За другого человека невозможно объяснить его действия. Мы здесь можем только предполагать какие этому были причины. Вопрос в том, как Вы на это реагируете и что происходит дальше в ваших отношениях после того как он так поступает? Знает ли муж о том, что Вам это неприятно? Обговаривали ли Вы с ним последствия того что происходит?
Вы пишете:
ведь он мог это время провести с семьей
Что Вы под этим подразумеваете? У Вас были на это время какие-то обговоренные планы? Потому что "время с семьёй" тоже ведь можно по-разному понимать.