Родственники мужа вмешиваются в личную жизнь

Добрый день!
Мы с мужем вместе почти 2 года. Живем в отдельной квартире.
Но меня поражает ситуация, что его мама может без всякой веской причины придти к нам ночевать, даже среди рабочей недели. Она объясняет это тем, что ей страшно одной ночевать или боится спать одна дома когда у нее плохое самочувствие.

Сестра мужа может без всякого предупреждения отправить к нам ночевать своего сынишку, не спросив у меня, а только у мужа о наших планах.
Меня эта ситуация не очень устраивает. Муж на разговоры об этом начинает нервничать и говорить, что они - это тоже его семья.
Что в этой ситуации посоветуете. С мужем не хочется ругаться, но и терпеть все это не хочется.