Ревность партнёра к прошлым отношениям. Он грозится уйти от меня, вбивает чувство вины. Как быть?

Состою в отношениях с молодым человеком. Вступал со мной в отношения, зная про предыдущих партнеров. Все развивалось и было замечательно, но периодически он вспоминает мне предыдущие отношения, вбивает чувство вины, грозится уйти от меня. Я не понимаю как быть в этой ситуации, очень тяжело отпустить человека, получается, что я держу его, но он меня тоже любит, но эти мысли не дают ему покоя.