Ребёнок (3 года) привязан ко мне, забираю его на выходные. Когда ухожу, он сильно плачет. Как быть?

Добрый день! Ситуация следующая, второй месяц не живём с женой, сына забираю к себе на выходные ему 3 года, там они играют с племянником, ему 4, у них много общих детских дел, к маме категорически не хочет, там сын её от первого брака 9 лет, ему с младшим не интересно. Хотя всегда объясняю что папе нужно работать, и тебе надо побыть с мамой, Я противник того чтобы настраивать против кого то. И вот сегодня привёз его к маме, и он уже в дороге говорил что будет со мной работать, попросил с ним посидеть пока он покушает. И пока Я мыл руки, он за мной, Я в другую комнату, сразу меня зовет. А когда начал уходить он устроил такую истерику что не хочет там оставаться, долго уговаривал, Объяснял, бесполезно, когда вышел за дверь, Я думал что он её выламает, и на улице Я слышал как он сильно плакал, у меня аж сердце кровью обливается, еду на работу без настроения, переживаю (Как быть? Спасибо