Как правильно строить отношения с детьми, если бывший муж настраивает их против меня?

С мужем в разводе. Есть двое детей - 8 лет и 5 лет. При разводе детям было 5 лет и 2 года соответственно. Я уехала в другой город, от мужа к маме. Через 3 года вернулась в город, где живет мой муж. Т. К. Появилось понимание что детям нужно общение с отцом в любом случае, т.к. быть матерью одиночкой тяжело, и т.к. вопрос воспитания детей это все же вопрос, который касается только нас двоих, ни его ни мои родители не должны этим заниматься. Дочка пошла в школу, сын вернулся в тот же сад в который ходил. Проживать они стали в квартире, которую мы купили в браке (сейчас это квартира мужа). Я сняла квартиру рядом со со школой дочки, в соседнем доме. Мы с бывшим мужем живем недалеко друг от друга. Дети проводят больше времени у него, т.к. эту квартиру с детства знают, часто остаются там ночевать. Так же у дочки есть подруги на одном этаже, соседки. Бывший муж начал настраивать детей против меня и моего нынешнего супруга (я вышла замуж второй раз). Т. К. Инициатором развода и ухода была я, изменив бывшему мужу в браке с моим нынешним. Сейчас дети отказываются просто приходить ко мне, ссылаясь на то что мой нынешний муж плохой (со слов отца). Пока не могу понять что мне делать. Бывший муж на контакт идти отказывается, говорит что не хочет меня видеть. Детей начинаю видеть все реже, т.к. работаю до 18 в офисе а муж работает удаленно и забирает их в течение дня из школы и сада. Запрос: как правильно строить сейчас отношения с детьми? Как реагировать на их отказы приходить ко мне?