Как избавиться от общения с коллегой?

Коллега меня обесценивает, я хочу заблокировать его контакт, но у нас много общих знакомых. Суть обесценивания в том, что он незаслуженно считает меня ленивой, а это не так. Я работаю в компании, а он по каким-то причинам открыл свое дело. Я пока не чувствую уверенности, чтобы открыть свой кабинет и он этим часто выводит из себя. Как просто забанить, чтобы не понял, что он забанен? Он как вампир, после встречи я чувствую нехватку сил. Очень прошу совета, как быть?