Боюсь этих отношений. Груз прошлого всегда будет рядом. Мне 22 года

Добрый день! Валерия, 22 года. У меня такая трудность. Есть мужчина, знакомы мы не очень давно, он женат и есть ребенок (2,5 года) с женой они вместе 8 лет. Решил разводиться, сейчас они живут отдельно, жена про меня знает. Все ему говорят, что я это ошибка и что это все манипуляция. Он стал говорить, что я холодна и кажется что я веду профессиональную игру, что нет на самом деле чувств. В самом начале нашего общения я говорила, что мне нужны отношения и точно не хочу чтобы они разводились, тк. Я не смогу его принять. Но я уже очень привыкла к нему и не хочу отпускать.
Еще есть проблема с тем, что когда дело доходит до секса, то я в голове всегда мысль что я не хочу, но отклик от тела есть. Я всегда думаю о том, что он все равно от меня уйдет и я останусь одна.
У него еще есть возможность вернуться в семью, возможно она его и простит, он не хочет травмировать ребенка, но в тоже время он не счастлив там.
И все время кажется, что нет смысла начинать эти отношения, тк груз прошлого всегда будет рядом.