Тревога за будущее. С мужем разведена, начала новые отношения, но они не развиваются

Здравствуйте, с мужем разошлась 2 года назад, 3,5 официально в разводе. Воспитываю двоих детей: сын 17 лет и дочь 7лет. Ушла от мужа, когда встретила другого человека, у нас в молодости были с ним отношения. Живёт один, в другом городе. Я живу в закрытом городе, только близкие родственники могут заехать.

Проблема моя заключается в том, что два года назад он красиво ухаживал, был готов на все по первому зову. Сейчас же я должна к нему сама ехать, никуда не ходим. Сходили в магазин, купили продукты и дома. Просит, чтобы я как женщина убралась у него, сварила что нибудь вкусненькое. На вопрос, что будет дальше, отвечает уклончиво: типо мои дети будут против (сын на самом деле против даже знакомства с ним), что мы сможем не ужиться, что не хочет официально закреплять отношения, т. к. был женат и ничего хорошего не было. Хотя и отпускать не хочет, постоянно созваниваемся, 2-3 в месяц видимся.

Если я вначале строила на счёт него какие то планы, то сейчас начала сомневаться. Может, я сама веду себя так, что мужчины начинают пользоваться мной. Мой бывший муж толком не работал, сидел у меня на шее. Из-за этого были скандалы, до рукоприкладства доходило, вначале меня бил, потом пару раз сына. Сейчас мой молодой человек, конечно не бьёт меня, но и обидные слова не позволяю ему говорить даже в шутку. Но все равно напрягает то, что он не пытается как продвинуться дальше. До сих пор как бы прячет меня, хотя многие уже знают про нас. Как то сумбурно написала, но у самой каша в голове. Спасибо за внимание.