Наладить отношения с родственниками

Мне 41. У меня взрослый сын. Я жила с мамой и сыном. Встретила мужчину стали жить вместе. Пробовали наладить отношения с его и моими родственниками. Помогали им как могли. Но почему то не получается. Его родные думают что я живу за его счет. А мои считают что он живет за мой. До встречи с этим мужчиной я мой сын и мама строить начали дом. А теперь меня упрекают в том что мне нельзя верить что он претендует на этот дом который еще не достроен и не оформлен толком. Стройка стоит мне жалко труды и деньги. Знаю что если не расстанусь все пойдет насмарку. Все труды деньги. Отношения со всеми зашли в тупик мы почти не общаемся. Как быть?