Не могу ужиться с детьми от предыдущего брака. Как изменить своё отношение к ситуации?

Нахожусь в отчаянии! Уже не знаю, что делать. Очень устала. Постараюсь описать суть. Три года назад я развелась с мужем. Есть сын (8 лет). Познакомилась с мужчиной, завязались отношения. Он был дважды женат, по двое детей от каждого брака. Первые 1,5 года у нас были проблемные отношения, потом все резко нормализовалось. 1,5 года назад мы стали жить вместе. Через какое-то время я забеременела. Бывшая жена стала отдавать детей надолго к нам. Мальчик 6 лет и девочка 4 года. Мой сын сперва ревностно к ним отнёсся. Потом постепенно привык. Как только дети приезжали к нам, муж начинал по-другому относиться к моему сыну. Ругал его постоянно, чуть что так это он во всем виноват! Мы стали ругаться. Как только дети уезжали - в семье наступало спокойствие и они прекрасно ладили. Со временем бывшая жена стала все чаще привозить детей и дошло уже до того, что они уже 3,5 месяца живут у нас! Я устала от них. Мало того, что они шумные, а у нас малышка, так ещё и с моим сыном не всегда ладят. Точнее я ежедневно спускаю тонну энергии на то, чтобы их примирить и сгладить углы. Но чувствую, что нервы уже на пределе и я начинаю срываться, злюсь. В том числе и на детей. Они меня бесят своей наглостью и невоспитанностью. И я, получается, вынуждена жить в таких условиях. Ничего изменить не могу. Кроме своего отношения к ситуации видимо (((но это так тяжело. Я не хочу, чтобы они жили с нами постоянно! Хочу чтобы жили со своей мамой, а к нам приезжали в гости. Иногда. Но естественно это я не могу предложить мужу. Да и бывшая его жена, похоже, только и рада, что сбагривать их на нас постоянно. Я в отчаянии! Не знаю, что делать. Но жить так всю жизнь я точно не хочу!