Мучает совесть от того, что я собираюсь прекратить отношения

Я не могу разорвать отношения с человеком, который не принимает моего ребенка от первого брака, вообще не хочет никак с ним контактировать. Говорил мне неоднократно, что у нас всё когда-то закончится. Но при этом он меня любит, по его словам, просто очень эгоистичен. Встречаемся 3 года, мне всегда казалось, что мы на одной волне и идеально друг другу подходим. А сейчас, когда я думаю наконец прекратить эти отношения, меня мучает совесть от того, что я всё-таки собираюсь от него уйти. Помогите разобраться.