Подружился с сыном девушки, но видимся редко. Это стресс для ребёнка?

Два года назад я познакомился с девушкой и у нее есть 4х летний сын. Я с ним подружился, он мне не безразличен, редко видимся с малышом, когда гуляем он ко мне тянется, ну видно что я ему стал больше чем дядечка с улицы. И есть у малыша бабушка, которая препятствует общению с ним, говорит что бы я не гулял и не виделся с мальчиком, говорит что это для него большой стресс, ну якобы он к тебе привыкнет, будет скучать, а мы живём отдельно, ну нет пока возможности жить вместе. Хочу спросить, права ли бабушка на счёт малыша, как лучше поступить в этой ситуации?