Бывший муж хочет сойтись, но проживать намерен у своей бабушки. Как мне быть в такой ситуации?

Здравствуйте скажите пожалуйста у меня такая ситуация мы с мужем прожили 8 лет 6 лет официально в браке были. Год гражданским. После развода мы с ним год не жили он жил с другой женщиной я с другим. Но опять решили сойтись не смогли перебороть чувства. Сейчас состоит вопрос переезжать в дом к его бабушке она старенькая ей 80 лет. Но вполне ещё не плох себя чувствует. Я не хочу ехать в дом потому что там условия желают оставлять лучшего. И переживаю о своих детях. Доче у меня 7лет сыну 6 он у нас совместный с мужем ребёнок. Пыталась своему мужу сказать об этом но он упёрся что хочет туда и бабушку не оставит, а мне как быть незнаю.