Хочу общаться с бывшим парнем, но я замужем. Не хочу обманывать мужа, боюсь, что будут проблемы

Доброе утро! У меня сложилась очень странная ситуация, ещё в школе со мной познакомился парень на 2 класса старше меня и я сразу же в него влюбилась, начали общаться позвал гулять но я стеснялась и не пошла, потом он перестал общаться со мной потом начал и так длилось около года, на предложение куда то сходить я соглашалась но в последний момент боялась идти и не приходила. После того как он закончил школу мы не общались какое то время, потом он снова объявился и сказал что уходит в армию и спросил буду ли я его ждать я задала вопрос если смысл его ждать ответа не было и снова общение закончилось. Пока он был в армии я встретила парня и начали встречаться, по возвращению из армии он снова объявился, я сказала правду есть парень общаться нет смысла и он снова пропал. Потом он попал в тюрьме и через некоторое время я вышла замуж, он поздравил меня за свадьбой и предложил общение я отказалась, хотя внутри себя я очень хотела общаться но побоялась что будут проблемы с мужем. И вот снова он объявился с предложением поговорить по телефону я оставила свой номер и теперь жду звонка. Помогите пожалуйста разобраться в себе, я не понимаю почему он до сих вызывает у меня такое чувства радости, да и мужа обманывать не хочется. Спасибо