Больная любовь мужа к первой семье. Он очень болезненно переживал развод. Что делать?

Здравствуйте! Мне 33, мужу 36, есть общий ребёнок 3 мес., в браке 3 года. У нас есть одна проблема, из-за которой мы постоянно ругаемся-это его первая семья. Спустя 13 лет брака они развелись из-за измены первой жены. Есть дети 13 и 7 лет. Муж очень болезненно переживал развод, даже сильно болел на нервной почте. Спустя год после развода мы познакомились с ним, ещё через год поженились. Муж постоянно думает о детях первого брака: звонит им каждый день по сто раз, только и думает о том, когда встретится с ними (живём за 300 км от них), звонит только когда один, украдкой, всегда думает что им плохо, что они по нему скучают, что они несчастные и обделенные. С рождением дочки ничего не изменилось, даже хуже стало (постоянно говорит о них), а дети с ним не хотят общаться, не отвечают на звонки, смс, не звонят, не поздравляют мужа даже с днем рождения! А если редкий раз позвонят -только чтобы денег попросить на отдых или на айфон. Бывшая жена препятствовала общению, а как узнала что я родила-стала звонить мужу моему каждую неделю: то поздравила с рождением дочери, то просит детей на неделю забрать, то звонит чтобы сказать какую грамоту ребёнок получил. Просит, чтобы он чаще презжал, стала поздравлять его с праздниками. У меня же сдают нервы, меня раздражает его бывшая семья, они его не уважают, оскорбляют (дети даже при их совместной жизни называли отца "он", нужен он им только как спонсор. Жена унижала, изменяла и хотела от него денег. А он как помешался! Как приворожили! Все его мысли о них! В его день рождения, пока я готовила ему сюрпризы-он звонил детям, когда я рожала-звонил детям, и так в каждый праздник! Как бы ему ни было хорошо-он думает о них. Какая-то больная любовь!!! И они не оставят нас в покое, я это знаю! Но это единственный камень преткновения в нашей семье, он никак не поймёт, что навязывается. Вдобавок его мама всегда говорит о бывшей жене, что-то вспоминает, заставляет звонить и ездить к детям. Иногда мне кажется, что ей хочется, что бы он вернулся туда, говорит, что бывшая уже локти кусает. Мне очень плохо, я понимаю, что дети никуда не денутся, но сил каждый день слушать его воспоминания, видеть как он тоскует, больше нет. Сейчас планируем переезд, будем жить почти рядом с ними, я боюсь, что муж будет постоянно ездить к ним или таскать их в наш дом. Подскажите, что делать? Как исправить ситуацию? Ведь ругаемся только по этому поводу! Или он хочет вернуться? И лучше его отпустить?