Пасынок не обращает внимания на мои претензии. Меня это очень злит

Мы с женой стали жить вместе когда её сыну было 6 лет, сейчас ему 11, у нас родился совместный сын, сейчас ему 2 года, старший ребёнок живёт то с нами пару дней, то с бабушкой и дедом (мы живём в одном селе) чаще живёт у бабушки. Проблема в том (как я считаю (отчим), что он абсолютно не слушается меня почти во всех моментах (замечания). При этом я очень строг с ним, пример : с улицы зашёл :быстро мой руки, ему это не нравится и он всячески показывает это, а мама в этот момент говорит : что ты на него так сразу! Он только зашёл. И какое замечание я бы не сделал, она всегда встревает и защищает его. По началу он меня слушал, но сейчас он почти не обращает внимание на мои замечания и претензии, меня это очень злит и я срываюсь и начинаю кричать, жена начинает тоже на меня кричать, в итоге скандал. И какое бы замечание я не сделал, она всегда его защищает. Я думаю, что из-за этого он перестал совсем меня слушать. Я очень хочу чтобы наши отношения наладились. Дайте совет если можно. Спасибо.