Раздражают дети мужа. Злюсь на себя, что не предусмотрела, что так может быть

Я живу с мужчиной, у нас 2 общих детей, один мой ребёнок от другого мужчины, мой сын называет его папой. Он прекрасный отец. У него есть 2 детей от первого брака. Сын 10 лет и дочь 3 года. Нашим детям 1,5 и 3 месяца. Вместе мы 2,5 года. Его дети живут с нами по 3 месяца бывает. Сейчас забрал их мама, они живут рядом с нами в 15 минутах ходьбы. Мужчина мой отвозить и забирает младшую в сад, они ночуют у нас. Периодами все нормально. Но иногда меня жутко раздражают его дети, его бывшая, что я готова уйти от него. Я чувствую себя виноватой и злюсь на саму себя, что не предусмотрела, что так может быть. Когда они приходят к нам, будто в мой мир врываются и хотят его нарушить. Особенно раздражает дочь, когда она лезет к нему на коленки за столом. Я понимаю мозгами, что она скучает по нему, но эмоции берут верх надо мной. Я могу ничего не говорить, а потом ходить и не разговаривать с мужчиной.