Страх, ступор при общении с мужчинами

Добрый день.
Хотел бы задать такой вопрос. Я мужчина, при общении с девушками не испытываю никаких трудностей, чувствую себя уверенно, позитивно и привлекаю противоположный пол. Но общаясь с мужчинами, я становлюсь внутри как будто маленьким мальчиком, уступчивым, смирённым, неуверенным в себе, внутри все сжимается, какой-то ступор, начинаю нервничать, чувствую себя ниже их, пытаюсь подавить это чувство, но не получается, даже в обычном общении с друзьями, появляется нервозность и пугливость.

На протяжении всей жизни, как сейчас анализирую, все время проводил в женском окружении, отца не было. Вместе с этим неоднократно были ситуации, в которых я боялся физической расправы, даже когда этому ничего не сопутствовало и шёл на уступки проявляясь свою трусость и неуверенность. Потом себя винил за это очень сильно.

Подскажите, как это исправить и что делать? Спасибо.