Мой сын (6 лет) раздражает моего мужа. Как себя вести в этой ситуации?

Возникла непростая ситуация. Я замужем второй раз, родила дочь мужу, но его патологически раздражает мой сын (6 лет) от первого брака. Все он делает у него не так! В дочери души не чает, но к сыну одни недовольства. Говорит надо ремнём воспитывать, я против. Сын возможно не усидчив (делаешь 55 раз замечание, он через 15 мин 56 раз так же сделает и не вспомнит что только что его за это наругали). Может возраст, может действительно ещё строже надо брать. Я не знаю. Ругаемся с мужем. Подскажите как быть? Как вести себя в данной ситуации?