Нынешний сожитель моей бывшей жены плохо влияет на ребёнка. Как наказать этого человека?

Моя жена загуляла, в течении 6 месяцев встречалась тайно, ухажёр оказался ужасным человеком, официально нигде не работает, на чёрном рынке. Сидевший 8 лет, живет по понятиям. Сейчас с женой развелись, она с ребёнком ушла к нему в квартиру. Ребёнку 6 лет, постоянно тянется ко мне. С тем мужчиной жить не хочет, когда я его забираю и привожу обратно маме, ее сожитель устраивает мне скандалы по понятиям, что я якобы оскорбляю бывшую. Как наказать этого человека? Чтобы ребёнку не нанести психологическую травму.