Достал бывший, распуская слухи. Как себя вести в этой ситуации?

Здравствуйте, я замужем, двое детей. Дело в том, что до мужа я встречалась с парнем, он такой, из серии плохих мальчиков, симпатичный, гуляка, короче, молодость, любовь и т. д. на тот момент, когда, мы встречались, этот парень был под следствием целый год, набедокурил в армии. Ближе к суду он стал неадекватен, пить, пропадать, конечно, меня это не устраивало, мы ругались, даже дрались.

В итоге его посадили на 2 года, на суде я не была. Тут начались письма, я отвечала, но просто в поддержку ждать его не клялась. В каждом письме, он просил прощения, но всегда отвечала на это я, что в нем не уверена, вот выйдешь и посмотрим. Через полгода я встретила своего будущего мужа, и конечно, всю переписку с бывшим прекратила, даже прямо написала в письме, что у меня есть парень.

Когда бывший вышел, я уже была замужем, ребёнок. Мой муж и бывший знают друг друга, так как все живём в одном районе. Бывший тоже завёл жену и ребёнка, сразу после тюрьмы. Но не тут то было, он всячески распускает обо мне слухи, что его не дождалась, такая сякая. Муж с ним разговаривал, и дрались они. Этот помогает на время. И вот опять, на днях муж вечером пошёл в магазин и встретил опять этого моего бывшего и опять слово за слово. Вообще, этот парень живёт с женой в другом районе, но очень часто появляется у своей мамы, она рядом живёт.

На данный момент у него уже 3 детей, у меня 2. Семья, дети, работы. Я не понимаю, зачем на протяжении 6 лет этот парень так себя ведёт. Я игнорю, может все таки мне с ним поговорить? Как мне себя вести в этой ситуации?