Жизнь с бывшей женой мужа под одной крышей. Муж меня не слышит и не соглашается с моими доводами

Здравствуйте! У мужа и его БЖ имеется общая недвижимость (дом) и двое детей. Сейчас мы переехали (по работе) в доме с новым супругом и ее матерью живет БЖ. Инициатором развода была она. В браке она его унижала, оскорбляла. После развода были сильнейшие судебные воины, настраивали детей, упреки и прочее. Сейчас БЖ и ее мать тоже позволяют себе грубое общение, мастерство и неадекватное поведение по отношению к мужу и меня (меня правда за спиной).
Сегодня случился сильнейший скандал с супругом! Он желает в дальнейшем ездить со мной и сыном (9 мес) в дом, дабы проводить время вместе с его детьми. Я их люблю и хорошо к ним отношусь, но в дом ехать категорически не хочу. Я супругу это объяснила, аргументируя тем, что дома крики, грязно, неуважительное отношение, упреки, одним словом не здоровая атмосфера! Я кормлю грудью! У сына только формируется нервная система, он сейчас чувствительный, любые эмоции оставляют свои следы! Муж у меНя спокойный и интеллигентный человек и просто не способный достойно отвечать им. Они его не слышат и не дают слово вставить! Он выбирает зачастую позицию из не трогать и молчать. Они принимают это как победу.
Почему-то супруг меня абсолютно не слышит и не соглашается. Для него мой отказ ездить в дом, как для быка красный цвет! Сегодня он мне угрожал. Повторял слова: «я все о тебе понял!» , «если откажешься ездить, я буду принимать меры» и прочее.
Я его люблю, но это слишком. Я все делаю, что бы ему хорошо жилось: я хорошо готовлю, не спорю, он принимает решения даже касательно моей внешности, он полностью распоряжаться финансами и выдаёт мне определенную суму на продукты питания, он прямо мне говорит «моя зп», «мой дом», «мой автомобиль»! Хорошо! Если он так увлечён в материально, если ему так важно, что это его - окей! Но требовать с меня это он не вправе и темболее угрожать мне и шантажировать!!!

Как мне с ним говорить? Как мне донести до него, мое мнение? Он меня не слышит. Я думаю что он там, с ними, хочет поддержки (говорил мне в соре, что они здесь вместе, а я один). Но я не намеренна из-за его игры, эго, что бы что-то кому-то доказать - портить нервы себе и сыну!! Он стал эгоистом, я и не заметила как превратилась в ЭТО (
Помогите советом