мы и ругаемся только из-за за сына
Ваша задача так расставить приоритеты, чтобы муж безоговорочно был у Вас всегда на первом месте. А с сыном оговорите условия Вашего совместного проживания. Если его это не устроит, тогда, возможно, имеет смысл и разъехаться. Ваш муж, я думаю, тоже хочет, чтобы сын стал самостоятельным мужчиной, способным принимать решения и брать на себя ответственность. Не мешайте ему в этом. Это, действительно, прерогатива отца.