Гражданский муж против того, чтобы мои дети жили с нами. Как быть?

Мне 34 года, 13 лет я была в браке родила 3 детей с мужем развелись, уже как 2 года вместе не проживаем встретила мужчину он был женат встречались тайно, потом он развелся и предложил жить вместе, я долго думала и переехать в другой город, все отлаживала но в 10 января 23 года умерла мама и меня ничего не держало, в апреле месяце переехали он помог устроил мои детей в школу в сад, вроде все хорошо сделали ремонт в квартире снимаем у друзей, но потом начались трудности я устроилась на работу ближе к дому работа сидячая и разговоры по телефону, люди звонят всякие что только не наслушаешься, домой прихожу как выжатый лимон охота лечь и отдохнуть, но муж приезжает с работы поздно нужно разогреть ужин и накормить его, так как уставшая и начала сильно болеть спина приходишь ничего не хочется даже интима, у него сразу мысли что я изменяю гуляю и тд, и говоришь ему это бесполезно контроль то что не звонишь, на обед пошла почему не позвонила, ушла почему не позвонила и все вот так, сейчас еще начались оскорбления в мой адрес, говорит мол я тебя сюда перевез и жить со мной не будешь я тебе здесь жить не дам свезу обратно откуда взял, я не настаивала и не очень то хотела, я проживала в деревне, конечно в деревне нет перспективы как в городе, но и тоже у меня в деревне осталась квартира он мне предлагает продать и взять здесь, я этого делать не хочу, потом вот так меня с детьми выкинет, старший ребенок заканчивает 9 класс проживает с бывшим мужем, хочет после 9 ехать в город поступать но гр муж против чтобы он вообще жил с нами, мне это все больно слышать это мил дети и я их никогда не брошу чтобы не случилось, вот как вообще быть в этой ситуации? ! У него тоже есть дети они живут в городе 18 лет и 13 лет, я много раз говорила ему привози будем общаться, но он все почему то не хочет! Я уже устала так с гр мужем уже будет как вместе 4 года, но уже просто все начинает раздражать и незнаю что мне делать и как поступить в таком случае!