Но есть моменты когда негатив идёт с его стороны и это меня пугает. Я его могу взбесить на ровном месте...
Если он склонен к вспыльчивости и вспышкам гнева, то скорее всего это его личностные особенности, он накапливает напряжение, когда не может выплеснуть гнев - например, сдерживается на работе, а потом "разряжается" на Вас. Проанализируйте эти конфликты, замечайте как часто это происходит, и по каким поводам. И когда будет возможность, поговорите об этом. Спокойно, без критики, по факту - "происходит вот так, и для меня такая жизнь очень тяжела, давай пожалуйста подумаем и решим что делать, чтобы ты исправил свое поведение. Если есть любовь, люди идут навстречу и договариваются. С этого дня будем стараться изменить нашу жизнь к лучшему, понимаем что для нас недопустимо - грубость, оскорбления, угрозы. Давай выстроим эти границы. Давай учиться строить общение без агрессии. Стараемся слушать и слышать друг друга. Когда есть агрессия, проблема не решается. Говорим спокойно, чтобы понять и исправить ситуацию.