Бывшая жена моего мужчины вмешивается в нашу жизнь. У нас начались ссоры, непонимание

Пишу вам от безысходности, морально истощена, самой уже не справиться с возникшей проблемой.
Я была замужем, прожили 10 лет вместе, есть ребенок (девочка 9 лет) Развелись когда дочке было 4 года. После развода жили с ней вдвоем. Серьезных отношений не было. Полтора года назад познакомилась с мужчиной. На тот момент он был еще в браке, но они уже расходились. И спустя пару недель после нашего знакомства, бывшая жена съехала от него. Они официально в разводе. У него есть дочь, которой сейчас 5 лет. Его жена уехала к новому возлюбленному.
У нас все закрутилось, встречались, не сказала бы, что было много ухаживаний, но все время мы как-то проводили вместе, летом каждые выходные куда-то уезжали, у нас были хорошие отношения. Отношения с детьми нормальные, он не плохо относится к моей дочке, я тоже приняла его ребенка. С конца лета я с дочкой переехала к нему. Все время до переезда, он брал дочь неделю через неделю. В это время мы ходили вместе гулять, чем-то занимались вчетвером.
После того, как начали жить вместе, бывшая начала им манипулировать через ребенка. Переставала давать дочь с ночевкой, т. е. когда мы просим ее, она не дает, а когда ей надо - она звонит и говорит чтоб забрали. Если мы заранее договариваемся взять ее, в назначенный день она вдруг не разрешает, а на следующий день звонит сама, чтоб забрали. Она постоянно звонит, несколько раз в день, просит что-то для ребенка или просто рассказывает как у нее дела. Просит куда-то ее отвезти, то в садик, то в кружок, при этом она очень долго не давала ее нам. Пишет ему "доброе утро" и посылает фотографии дочки. Сейчас она пошла работать и поставила условия, что мы должны забирать дочь, когда она на работе (работает она вроде 2/2, а ребенок у нас живет по три, а то и 4-5 дней). Ребенка учень сильно настраиват против меня. Ребенок меня не слушает и относится ко мне неуважительно, раньше такого не было.
Очень мешают эти все звонки, человек лезет в нашу жизнь, манипулиреут. Мой мужчина этого не видит, ничего ей не говорит, делает то, что ему велят с той стороны. Меня это расстраивает, я злюсь, начинаю ругаться.
Мой мужчина, начал остывать ко мне, когда берет ребенка, постоянно сидит (в буквальном смысле) с дочкой. Не замечает меня совсем. Со своей стороны, видя отношение его ребенка ко мне и отношение моего мужчины, меня это расстраивает, я начинаю раздражаться. При попытке поговорить, он начинает психовать и говорить, что все хорошо. Я позвонила его бывшей, с предложением оставить нас в покое, на что она мне сказала, что пользовалась моим мужчиной и будет дальше пользоваться столько, сколько ей надо.
Меня очень сильно расстраивает эта вся ситуация. Мой мужчина будто живет теми (прошлыми) отношениями, а я при этих отношениях. У нас начались ссоры, непонимания. Я переживаю очень сильно, перестала спать по ночам. Не знаю как себя вести и как регировать на это все.
Помогите разобраться.