Добрый день
Вам следует озвучить свои условия, на которых Вы готовы продолжать отношения. В данном случае, по-видимому, Вашему МЧ придётся выбирать: жить с Вами или с братом.
Если он выберет жить с братом, Вам придётся уйти.
Если Вы не уйдёте - будете жить с ним и с братом.
Если он выберет жить с Вами - решит проблему с братом сам.
Всё просто.
Я ответил на Ваш вопрос?