Но если конкретно по Вашему вопросу, то самое первое и самое простое что Вы можете сделать - это обозначить свои границы. Делается это так: в следующий раз когда он говорит Вам то, что Вам не нравится, нужно спокойно ему сказать "Мне это неприятно" (больно, противно, я себя чувствую униженной и т. д.) таким образом Вы даете понять где проходят Ваши границы. Если человек действительно переживает за отношения, то рано или поздно он это поймет и изменит свое отношение. Если нет - по крайней мере Вы об этом узнаете.