Как объяснить поведение парня? Когда мы остаёмся вдвоём, он молчит, как рыба

Мне нравится один парень, но он, конечно же, об этом не знает. Он может сам со мной шутить и отвечает на мои шутки, т.е. казалось бы все может получиться, но когда мы идём куда-нибудь вместе или остаёмся вдвоем (так получается, потому что мы работаем вместе) он молчит как рыба и мне приходится что-то говорить первой, он конечно отвечает, но сам разговор дальше не продолжает, что это значит? Если бы я ему не нравилась или была неприятна, как человек, а не как девушка, он бы тогда не шутил, я так думаю. Но если наоборот, тогда почему бы не заговорить первым (он не из стеснительных, если что)? Ведь даже когда ты к человеку ничего не испытываешь, просто нейтральный человек, то все равно ты с ним начинаешь разговаривать, не идти же молча в тишине.