Как объяснить мужчине, что я не хочу общаться с его сыном от предыдущего брака?

Есть отношения с мужчиной, решили расписаться. Оба хотим полноценную семью и детей. Живем вместе, дома все хорошо. У обоих есть опыт семейной жизни, неудачный. У него есть сын от первого брака. Я не против их общения, но сама в этом участвовать не хочу. Мужчина забирает иногда на выходные сына, я вынуждена уезжать к маме или на дачу, что бы не быть лишней. Как объяснить мужчине, что эти приезды сына к нам домой лишние и ни к чему хорошему в нашей жизни не приведут.