Бывшая жена и дочь моего мужа

Познакомились с мужем в 2015 году, на тот момент он уже 3 месяца как был разведен. У него до меня было 2 брака и в каждом по одному ребенку (дочери 21 год и 10 лет), у меня тоже 2 брака и 2 сына. Тогда мы провстречались 3 месяца и все это время бывшая не давала покоя звонила, на работу к нему бегала по поводу и без просила от дочери отказаться, вернуться к ней (хотя на развод подала она ей стало скучно и захотелось свободы, они даже не ругались). Он не выдержал уволился, уехал работать на вахту и мы с ним целый год не общались.

Когда он в 2016 году перестал ездить на вахту мы возобновили наши отношения, встречались, начали жить вместе, бывшая притихла, звонила только когда дочь хотела к папе приехать. В этом году купили дом, обустраиваемся. Его дочери сначала отца ко мне ревновали, потом мы с ними подружились. Со старшей дочерью мы так и дружим, а с младшей до беременности дружили, летом на речку, искупать, голову помыть, расчесать, заплести, муж ещё смеялся учись косички плести. В этом году у нас родилась дочь, когда к нам приезжает Настя, мужа как-будто подменяют, грубит мне, мы ссоримся, а когда уезжает день два и у нас все нормально.

Но теперь к нам стала наведываться и его бывшая жена, под предлогом забрать дочь домой. Когда дом купили поехал показывать ей, когда нас с роддома забрал дочь нашу ей показал, при этом даже у меня не спросил, хочу ли я этого. Теперь по огороду водит овощи ей набирает, я будучи беременной сажала вместе с ним, поливала, полола, а ей своим огородом некогда было заниматься, у нее тренировки прогулки, отпуск на море, даже на единственную дочь времени не хватает. Раньше он ни слышать, не видеть ее не хотел, а теперь дружат, говорит куда мы от нее денемся, у нас ребенок общий. Он говорит, что никогда к ней не вернётся, я ему верю, но не знаю, что она в следующий раз выкинуть может.

Мужу 40 лет, мне 30. Как быть с его дочерью, ведь когда мы ругаемся она рада до смерти и ещё масло в огонь подливает, "помнишь как мы с тобой и мамой жили весело, как нам было хорошо". Подскажите как ко всему относиться? Что делать, как себя вести?