Значит он мне что-то не договаривает, значит что-то не так со мной
Совсем не обязательно. Быть в отношениях не означает, что все остальные перестают существовать. Интерес к другим людям естественнен, а зацикленность друг на друге ограничивает. Я не про измену сейчас, понятное дело, а именно про социальный интерес к другим людям.
Возможно, вы сами себя ограничили в общении с другими людьми, в том числе и мужчинами. Из-за этого вам кажется, что и ваш молодой человек должен изолироваться от мира.