Мама молодого человека против наших отношений

Добрый день! У меня сложилась очень трудная ситуация и самой мне, к сожалению, не разобраться. Очень нужна Ваша помощь.
Я два года уже строю отношения с молодым человеком, и около полутора лет как мы живем вместе у меня. Его мама изначально против меня из за того, что я старше его на 5 лет (мне 26, а ему 21) и у меня есть ребенок.
Раньше он как-то мог усмерить маму или возможно проигнорировать ее слова, точно я не знаю так как старалась не лезть к ней чтобы не провоцировать.
В январе у нас создалась ситуация в которой я усомнилась в верности своего молодого человека и когда я пыталась разобраться в ситуации он счел это оскорбительным (его очень обижает, что у меня появились такие мысли) и вместо объяснения ситуации он просто сказал, что я сама во всем виновата.
Я сейчас понимаю, что вероятно я перегнула палку, но тогда на эмоциях я его выгнала и несколько недель мы не общались. Позже когда страсти утихли мы начали разговаривать и вроде как все уладили, он решил вернуться. Когда он сообщил это маме она восприняла все в штыки и сказала, что если он переезжает ко мне он ей больше не сын.
С тех пор у нас все безумно сложно. Молодой человек расстраивать маму не хочет, но и меня не отпускает. Я согласна сесть и поговорить с его мамой, но она на отрез этого не хочет.
Я не хочу ставить перед ним выбор я или мама, это не честно и вообще ужасно, но жить так не могу. Он живет дома с мамой приходит ко мне время от времени и когда мама это узнает она скандалит.
Я не знаю, что мне делать. Самой с его мамой поговорить или он должен это решать? Мне сидеть ждать или ограничить какое то время?
Я совершенно не знаю как поступить чтоб это не было эгоистично, так как он мне далеко не безразличен, но и над собой издеваться мне бы не хотелось.