он говорит он имеет право меня обзывать матом
Подход здесь очень прост - никто, никогда и ни при каких обстоятельствах не имеет права обзывать Вас, хоть матом, хоть без.
Но проблема, похоже, не в этом. Желающие пообзываться, или отыграться на Вас другим способом, всегда могут появляться. Вопрос в том, почему Вы это позволяете с Вами делать? Как Вы сами думаете?