Ребенок (3 года) отказывается жить дома, хочет жить с бабушкой и дедушкой. Как на это реагировать?

Здравствуйте, меня зовут Наталья, мне 21 год, у меня двое деток, сын 3 года и дочь 1,8 месяцев.

Такая проблема что мой старший сын не хочет жить дома и находится постоянно у бабушки с дедушкой, у нас в семье с мужем не очень идеальные отношения, сын ему не родной и воспитывает его с 6 месяцев жизни, они не очень хорошо ладят, сын его папой называет но и в то же время говорит что любит всех а папу нет он его обижает, в понимании обижает это когда поругает что что то сделал не так или обижает младшую сестренку.

Что мне делать я не раз думала о разводе потому что мне кажется что теряю сына и он однажды мне скажет что я его променяла на сестренку и мужа, но это не так я очень сильно его люблю и для меня постоянные мысли о том что ребенок меня совсем не любит и не хочет жить со мной и так его лучше, очень мучительны, что мне сделать как исправить ситуацию?