С отцом ребёнка не вижусь. Нужна ли я другому мужчине? Как поступить правильно?

Мне 26 лет. Не могу разобраться в ситуации и понять как жить и как поступить правильно. У меня есть дочь, родила ее рано. С тем мужчиной отношения не сложились, расстались более чем 2 года назад. Дочка живет со мной и с моими родителями. После расставания с ним долго не могла прийти в себя, было очень тяжело морально. Пока не устроилась на другую работу. Там встретила молодого человека, сразу почувствовалось что то такое родное в нем, сначала общались как друзья, потом спустя полгода начали встречаться, работая вместе. Проблем никаких не было, с ним получилось все легко, казалось бы все навсегда. И у него такие же чувства были. Но потом я начала замечать что к нему коллега подкатывает, а мы то свои отношения никому не показывали, да и он сам не говорит что у него кто то есть (потому что не хочет показывать), но инициативы с его стороны как казалось никакой нет а отношению к той коллеге, но они общались. Но суть в другом. Сейчас мы уже вместе не работаем, живем в разных городах, видимся когда он приезжает (старается как можно чаще), и вроде я ему полностью доверяю но иногда терзают сомнения. У меня дочь, куча забот, а он очень хороший человек, зачем я ему такая? Может ему нужно быть с другой девушкой, с которой не будет столько проблем как со мной. Как мы будем жить? Как он примет мою дочь? Как дочь его? А если ничего не получится, и нам придётся расстаться, как нам с дочкой будет тяжело уходить? Я очень боюсь. А та девушка она до сих пор ему пишет, она нормальная, у неё нет семьи, таких забот, и видно что ему до неё тоже не безразлично. На этом фоне я начинаю думать что он боится мне больно сделать, боится со мной расстаться, потому что знает сколько мне пришлось пережить. Иногда мне приходится ездить к родителям отца ребёнка, чтобы дочка с ними по была, поиграла. Сам отец дочки с ней видится редко, ему не до неё. И когда я езжу к ним, он всегда так недоволен, типа обижается, часто говорит что «вам нужно помириться с отцом ребёнка, и жить спокойно» , я ему много раз уже объясняла что мне с ним ничего кроме дочки не связывает, и что я его люблю, а о прошлом даже не вспоминаю. И это действительно так, он и моя дочь это смысл моей жизни сейчас (в плане семьи). За собой я слежу, выгляжу нормально, у меня есть цели в жизни, работа, все есть. Зачем он мне так говорит? Он прекрасно знает с отцом ребёнка я не вижусь, не общаюсь. Поводов для ревности. В общем, запутанная история. От которой тяжело с каждым днём, хочется поступить правильно, чтобы было как лучше и ему, и мне, и дочке.