Отношения с коллегой у Вас не складывались, было много недоразумений, и поэтому они сейчас стали такими, как есть. Он не хочет больше попадать в неопределенную позицию, когда его игнорируют. Коллега думает именно так, независимо от причины. Поэтому стал Вас избегать.
Если Вы хотите с ним нормальных отношений, постарайтесь не входить с ним в эмоциональный контакт - общайтесь по рабочим моментам.
Или Вы хотите иметь с ним личные отношения?