Муж живёт в бывшей семье. Как мне себя вести?

У меня второй брак, есть сын, почти 13 лет. В данном браке родилась дочка, сейчас ей почти 2. Муж намного старше меня, положительный человек, хороший семьянин и самый лучший отец (в дочке души не чает). Но проблема исходит из его прошлого брака. Он был женат 15 лет, есть две дочери: 22 и 19 лет. У него масса комплексов и ограничивающих убеждений, которые вбила в голову бывшая жена. Он не может ни в чём отказать своим детям, так как в течение первого брака командовала жена, а он исполнял. Бывшая при любом случае использовала детей (грубо говоря давила на гнилуху), прекрасно зная, что ради детей он готов продать душу дьяволу. Сейчас мы уже 2 года в браке, но он до сих пор живёт в предыдущих отношениях. Хотя причиной ухода от жены были её многочисленные измены, но до определённого момента он не уходил из-за детей (сейчас я понимаю, что это была всего лишь причина, которую он сам себе придумал). У него были обида и ненависть к ней, со временем злоба поутихла. Но он никак не может расстаться с бывшей, живёт в той семье. Дети большие, обе работают и неплохо зарабатывают, старшая закончила университет и 2 года живёт с парнем. Тем не менее они продолжают периодически тянуть с папы деньги, а он не может им отказать, даже если деньги последние (при это он платит кредит за квартиру, купленную старшей и алименты младшей). При этом что касается нашей малышки, то он может мне сказать, что денег нет. Самое главное даже не в его детях, а в том, что его жена была помимо гулящей ещё и транжирой. Имея хороший доход, они растрачивали всё и в итоге не осталось ничего. Я абсолютно по-другому отношусь к деньгам (жизнь заставила научиться их считать), но муж не хочет давать мне их в распоряжение. А ведь я занимаюсь домашним хозяйством, планирую закупку продуктов и прочее. Он видит во мне свою бывшую жену, а сам абсолютно не умеет обращаться с деньгами. Неоднократно был на этот счёт разговор, который всегда заканчивается ссорой. У меня ощущение, что наша семья - это я, его бывшая и все дети. Я не знаю, как разорвать этот круг, но жить так невозможно. Он говорит о каких-то наших общих грандиозных планах, мечтах, но при этом не хочет перестать находиться в прошлом. Что делать в этой ситуации, как мне себя вести? Он очень хороший человек, семьянин, прекрасный отец, но тяжёлый груз предыдущего брака не даёт нам жить нормальной семейной жизнью.