Исходя из того, что Вы описали, я могу предположить что Вы видите сейчас только два варианта - либо один парень, либо другой. Как будто нужно выбирать прямо сейчас и никого больше никогда не встретите. Это так?
И второй момент, Вы пишете:
Но если я уйду от него, и сделаю ошибку, он ведь меня любит...
То есть Вы беспокоитесь о его чувствах - как он будет жить дальше без Вас. При этом по отношению к себе Вы вполне допускаете унижение с его стороны. Получается что его чувства для Вас важны, а Ваше ощущение собственного достоинства и ценности - нет. Это так? В то время когда он Вас унижает - он - то не особо беспокоится любите ли Вы его и как Вы себя при этом чувствуете.