Моё поведение резко меняется при агрессивности людей. Я подлый человек?

Я общаюсь не со всеми, то есть, с теми, кого я боюсь (ими могут быть агрессивные хулиганы, просто агрессивные, люди с невнятной речью, упертые, строгие или превосходящие меня интеллектом) я молчу и выполняю их все указания, но есть люди, с которыми у меня складывается общение и мы отлично общаемся и не боюсь отказывать. Вся проблема в том, что я работаю с таким контрастом, и когда я общаюсь с другом, в это время подходит человек, которого я боюсь (друг с ним нормально общается) я начинаю резко вести себя так, как описал выше, после становиться не по себе, друг смотрит на меня, как на подлого человека, а я в унынии. Как это пережить?