Вы пишете, что поначалу жили вместе. Жил ли ребенок с Вами? Какие были отношенияу Вас с ним и Ваших детей с ним? С чего начались проблемы и ребенок не захотел жить вместе?
Когда Вы встречаетесь с мужчиной 2-3 раза в неделю, то он ребенка с собой берет на эти встречи - Вы общаетесь, ходите вместе куда-нибудь с детьми?