Бывший муж хочет принимать участие в воспитании сына. Ребёнок после встреч с отцом беспокоен

Пожалуйста, подскажите как быть. Муж ушел из семьи, когда сыну было 9 месяцев, когда ребенку исполнился год подал на развод и порядок общения с ребенком (хотел забирать ребенка с пятницы до субботы) присудили 2 дня в неделю по несколько часов. За пол года приходил к ребенку погулять пару раз. Сейчас ребенку 1.7мес. Бывший муж хочет принимать участие в воспитании. Сынок, как нужно расходится держит нас за руки и плачет, не хочет идти ни со мной, ни с ним. После встречь с отцом очень беспокойный, плохо спит ночами. Папа приходит 2 раза в неделю по 4 часа по решению суда. Понимаю, что у ребенка должен быть родной отец, только вот если встречи стресс для ребенка. Как быть? Малыш, еще не может понять почему папа уходит.