Парень не хочет окончательно порвать с прошлым. Это не приятно. Но стоит ли нам с ним всё разрывать?

Здравствуйте! Меня зовут Катя. Мне 22 года, я в отношениях с молодым человеком Женей, ему 20 лет.
Совсем не знаю, как поступить в данной ситуации. Начну с самого начала.
Мы познакомились практически 4 года назад. За это время мы встречались больше года, расходились, снова начинали, но расстались практически на два года. За это время многое поменялось. Он устроил свою личную жизнь, ушёл в армию, у меня был молодой человек - Ваня.

Я поняла свои ошибки, когда мы были парой с Женей. Многое чего я запрещала, не разрешала, не отпускала. Но ведь нужна свобода в отношениях. И он поменялся. Стал серьёзным, обдумывая уже совместную, семейную жизнь.
Время шло, он мне писал в армии, но это не надолго. Когда он вернулся, мы встретились у общих друзей. Я поняла одно: чувства не остыли, так же как и у него. Говорили очень долго, поделился, что его девушка не дождалась с армии, изменив не раз, но расстались они без скандалов, хорошо. Но я была очень удивлена, так как эта девушка его очень любила...

Потом я поняла, что не могу с ним держать общение, так как сама была в отношениях с Ваней. С моей стороны было не хорошо. Я прервала.
И не прошло много времени, как мы расстались. Ваня меня бросил, написав, что чувства остыли. Я переживала, но пережила)
И тут снова появляется Женя. Списались в соцсетях, он уехал работать, но через некоторое время приехал и мы стали снова встречаться.
Встречаемся с осени, он приезжает, но не так часто - работа вахтой. В дальнейшем хотим жить вместе, делать всё вместе. Мы ненавидели, любили, а теперь это что-то большее. Мы такие родные друг для друга.
Тут я увидела, что его бывшая девушка у него в друзьях, в соцсети. Попросила её удалить, ведь зачем иметь какую то связь с прошлым? Знаю точно, они не общаются, но а смысл держать? Как-то и не приятно.
На что он мне отвечал:"Нет смысла удалять; Она в прошлом; Мне она не нужна как девушка; Просто пусть будет; Нет желания удалять; Ты создала проблему" .

Мне эта ситуация не приятна. Да, сама создала проблему, но почему нельзя это сделать и доказать, что нет ничего такого. Было и было.
Конечно, отношения не без ссор. Но мне этот момент настолько неприятен...
Я очень расстроилась. Ушла на время в себя.

Подскажите пожалуйста, как мне быть?
Спасибо заранее за ваш отзыв, ответ, внимание.