Муж не ночевал дома. Спросить открыто про измену или не придумывать лишнего?

Гражданский муж не ночевал дома. (Вместе 5 лет, есть дочь 4 года) Сказал, что ночевал в пустой квартире своего отца. Есть основания ему верить, что он просто захотел побыть в одиночестве. У него сейчас много чего произошло. Но все-таки на языке вертится вопрос, не завел ли он интрижку на стороне. Знаю, что были у него в прошлом грешки. И вот думаю, спросить или нет. Правильно ли будет задать такой вопрос или не сочинять самой себе и не додумывать ерунды.