Отношения с женатым мужчиной. Его семья мне угрожает. Как вести себя?

Добрый день. Постараюсь понятно объяснить свою проблему. Мне 38 лет моему мужчине 53. О Знакомы с мужчиной более 9 лет. Как оказалось это долгое время мы друг к другу испытывали чувства. У него есть семья. Так получилось что 1,5 года назад я разошлась с мужем. И он долгое время меня поддерживал во всем. Пока мы не открылись друг другу что любим друг другу. Все было замечательно, 3 месяца назад ему сделали операцию на клепирование сосуда в головном мозге. Все это время мы не общались так как была договоренность что я не буду звонить так как рядом будут его родственники. И вот вчера иду по улице подъезжает он на машине ко мне. Начинаем разговаривать и он не помнит что мы были вместе он помнит только то что я жила с бывшим мужем все что было 1,5 года он после операции забыл, у него удалили все мои номера. После разговора он стал вспоминать. Но через 3 часа позвонил и спросил Мне не приснилось что мы виделись. И снова стал все разпрашивать, и извиняться что многое забыл. Хотя он говорил что искал мой номер и не мог найти его ездил по улицам и высматривал меня. Буквально через 30 минут начались звонки с угрозами его жены и сына. Объясните мне как себя вести в этой ситуации. Понимаю что семья. Запуталась просто сама уже не могу справиться.