Моральная подавленность из-за конфликта с неприятным человеком. Как перестать бояться?

Мне 30 лет, я женат, у нас 2 детей.
Проблема идёт со школы, я мало общался там, был друг, но потом меня предал. После учеба, новые знакомства и понеслось. Всё началось в начальных классах, когда ответив за себя в ответ обидчику, не важно что, я боялся встретиться лицом к лицу после школы, я с моим другом бежали через черный ход, думали так избежать проблему, но она спустя 23 года настигла меня.

Сам я тяжеловес, спортом активно занимается стал, новый круг общения, работу уже не одну сменил, но рядом нет друга, только знакомые. Но, могу сказать жена мой лучший друг, она поймет, выслушает, рассудит, даст совет. Иногда я могу всё решить, но очень часто из-за моей лени наверное так и происходит, что нужно работать над собой. Получилось так, на работе есть очень человек, любитель болтать языком, притягивает людей, при этом заливает людей, не меня одного. А когда меня задел, я ответил жёстко, возможно это ему причинила обиду? Но, я пытался подружиться, но как получилось, если ты не хочешь куда то идти- не или, я себя заставлял, для общения, развития. Хотя, делай что хочешь, тебя будут обсуждать всю жизнь.

Получилось так, что за отметкой день рождения коллеги, в мой адрес поступили неприятные спешки, после того как я насмехнулся над ним, но я не стал после усугублять, в данный момент я просто промолчал, что-то щелкнуло внутри меня, как в детстве, страх, боязнь чего-то, от чего нужно избавиться. Получилось выглядел не хорошо, спустя неделю этот человек провоцировал меня на эмоции, во время игры. Позже я вызвал его поговорить, но он лишь отпирался и смеялся надо мной, я ударил его, начал бить, так как понял, что и дальше будет это продолжение, нас разняли.

После говорили, он хотел дальше драться, я тоже, но мне человек, который ходит заниматься со мной спортом успокоил меня. Я немного остыл, как таково не здороваемся с этим человеком, хотя был момент, когда я первый протянул руку, но вяло дал свою. Хожу в тренажерный зал, не один, но в голове постоянно этот страх, унижение, а когда занимаюсь спортом воображаю как избивают его, калечу, откуда столько ненависти.

Как перестать бояться? Продолжить общение, понимаю, с ним уже не смогу, это тяжело, да и не вижу смысла, он человек, который высмеивает других у всех на глазах, подымаясь в глазах, вампир. Нет уважением ни к нему, ни к людям, которые за это его уважают, и это я ему в глаза сказал.