Саша, иными словами мы имеет дело с недоверием к Вам и с ревностью молодого человека. А это означает, что Вы здесь бессильны. Вы не можете своими "правдами", рассказами о том, что было, а чего не было повлиять на его восприятие, если до сих пор Вам этого не удалось.
сильно вгоняет меня в истерики, паники, стресс.
Если молодому человеку важно сохранить отношения с Вами, не Вам, а ему следует обратиться за помощью за тем, чтобы найти причины такого поведения и постараться их устранить.