Мужчину раздражает мой ребёнок (4 года) от первого брака. Как мне поступить?

В браке была 9 лет, двое детей, сыну 4 года, дочери 8 лет. Чуть больше года назад развелись, и появился другой мужчина. Вот уже отношения как год, идут медленно, не спеша. Он сразу знал что у меня двое детей, и как бы нормально к этому относился. Любим друг друга, и это видно и с его стороны и с моей. Вместе не живем. Он не хочет. Говорит что сначала нужно купить свою квартиру, потом строить семью. Ко мне приезжаешь вечером когда дети спят, и уезжает пока они ещё не проснулись. Днем тоже приезжает, когда дети дома, помогает мне иногда забрать или отвезти их в школу или садик. У нас замечательные отношения, но вот с младшим сыном вообще отношения у него не клеятся. С дочкой все хорошо, общаются. А вот узнала методом допроса и настойчивости что его оказывается мой сын раздражает. Он ничего такого не делает, просто его раздражает. Он никак не пытается с ним наладить контакт. Скажите пожалуйста, как лучше поступить в такой ситуации?