Как сделать правильно...

Здравствуйте! Вот уже пол года я в отношения с молодым человеком, которого очень люблю, знаю что это взаимно. это все конечно замечательно, но его прошлая жизнь...у него двое детей, от разных девушек. И эти истории закончились совсем недавно, как только они забеременели. детишки родились с разницей в месяц им по пол годика, девчонкам по 20 лет. как он мне сказал, что как только они забеременели он их собрал вместе и объяснил что ни с одной из них он не будет (это уже отдельная история, и его, если она с играет роль в вашей помощи мне, я могу её позже рассказать).Город у нас маленький, оказалось у нас очень много общих знакомых, но судьба нас свела почему то только сейчас. Мы видимся каждый день, какое то время я у него жила. О детях он мне рассказал сразу, не любит что то скрывать. Как он мне объяснил, я ему очень понравилась, он решил не строить отношения на вранье, ну начать, а как я бы это восприняла это уже моё решение. Я решила попробовать, он мне с первого взгляда понравился. Я думаю меня взяло вообще то что я никогда не встречала такого мужчину как он. Он очень внимательный, устраивается обсалютно во всем, никогда не допустит чтобы меня кто то обидел, всегда закидывает комплиментами, я как цветочек распускаюсь от его отношения ко мне. мне очень нравится его власть надо мной. он красивый, в постели меня тоже все устраивает, я бы сказала у нас все с этого и началось.
Но сейчас, девочки обо мне узнали, одна мне писала: как мне не стыдно спать с её мужчиной, я попыталась ей корректно ответит, и не ответила на прямую что я с ним, потому что он говорит что они его начинают шантажировать детьми. у них между собой борьба, каждая в соц. сетях ведут активную жизни, друг другу доказывая что папа всегда с ними, и у каждой все хорошо.
Он всегда практически со мной, всегда мне звонит.
Я знаю конечно что он ходит к детям, помогает им. я никогда не была против.
Но понимаете, иногда очень тяжело, и меня накрывает, мне очень хочется ребёнка ,я понимаю что для него сейчас будет это лишним. а я очень хочу ребёнка,и мне очень тяжело на это все смотреть. как бы это эгоистично не звучало. когда он берет ребёнка ,звонит мне, радостный что гуляет сейчас с ним, а я слышу детский плач или агукание, у меня сердце разрывается я не понимаю что со мной происходит, начинаю ему грубить. а потому думаю что делаю что то не так. он перестал мне звонить.
Я очень хочу семью, он не против, но не сейчас. говорит что всегда будет рядом, что все получится. но нам лучше уехать.
Когда они узнали обо мне он вообще замкнулся, и говорит мне: я не понимаю что мне делать.(
Я его понимаю, но мне очень тяжело, я не знаю что мне делать. мы стоим на месте. иногда кажется что для них он делает все, для меня ничего, мне только словами обещает, и думаю ну ему же и так тяжело, может подождать. пытались расстаться, но даже сутки не выдерживаем друг без друга. вообще я не знаю что мне делать, я его терять не хочу .