Взаимоотношения после развода. Стоит ли отвозить сына к отцу?

С парнем разошлись, когда ребёнку было 2 месяца. За все время гулял с ребёнком раза 4. Ребёнку уже 2,9. Отвозила сына к бабушке (матери бывшего), она к не у относится хорошо. Отец не подходит и не старается поговорить с ребёнком. Ребёнок каждый раз не хочет туда ехать сейчас если спросить он тоже говорит что к ним не хочет. Ко мне начали подходить люди и к моей маме, и все спрашивают почему я не даю видеться с ребёнком отцу, хотя раз в неделю он был у них. Наговаривает что я настраиваю ребёнка против отца и что из за этого сын к нему не идёт. Ребёнок от них постоянно приезжает то дерётся, то матерится. Я уже сильно нервничаю по этому поводу, и не хочу туда отвозить ребёнка, т.к. без их присутствия спокойней и я и ребёнок. Я бы могла отвозить ребёнка только к бабушке, но она все равно позовёт отца ребёнка. Как поступить в этой ситуации? Стоит ли отвозить сына к ним? Стоит ли молчать о том, что посторонние задают вопросы?