Хочу жить с мужем, но чувство вины перед мамой и сыном мешают

Здравствуйте! Мне 45 лет. Моему мужчине 50. У меня есть сын 18 лет.

Я живу с мамой и с сыном. Мой мужчина живёт с сыном (13 лет) в своем доме. У него есть ещё дочь 6 лет. Дочка живёт с его бывшей женой. Но моему мужчине кажется что дочь матери не нужна и он хочет забрать ее к себе. У нас с ним был совершен никах. Но мы ещё с ним вместе не живём. Он очень хочет, я тоже. Но мой сын не хочет переезжать к нему.

Мы с ним договорились что он остаётся с моей мамой жить. Проблем нет, он взрослый. Но моя мама очень не любит моего мужа. Говорит что я беру ответственность за его детей, он эгоист. Что оставляю своего сына ради него. И очень обижается. Я теперь чувствую себя предателем перед мамой, сыном. Так как я тяну с переездом к мужу, муж нервничает, психует. Иногда не сдерживается и перед моей мамой. Мама говорит что с ним будет тебе тяжело. Я его очень люблю. Но мама со мной не разговаривает, обижается. Про дочь уж я даже ей боюсь сказать, что он и не собирается к себе забрать. Я конечно тоже не понимаю, что он дочь забирает у нормальной матери, тем более они по суду договорились, что он будет с сыном, а она с дочкой.

Что мне делать? Как быть?