Понимаю, что это лишь моя реакция, которая и вредит и мне и нашим отношениям, но ничего не могу с собой поделать.
Если он любит Вас и у Вас тоже есть любовь, поработайте над этим, нужно не стыдиться, а разговаривать с ним и выяснять готов ли он меняться ради ваших отношений, если Вас это беспокоит.