相談させてください

自分25嫁24子供１人で３歳

嫁は専業で、最近ストレス？のせいでホルモンバランスが崩れて
病院通いしている
３日ほど前に、仕事から帰ってきて、
部屋が少し散らかっていたのと、頼んだ写真をもってくるのを忘れ、
携帯のｱﾀﾞﾌﾟﾀｰ（共用）のことで怒って、脳みそ腐ってるんじゃないの？
と言ってしまいました。

今までとろいところがあったので、何回ももっと考えて行動しろといい続けてきました
しかし一向に改善されないので、今までも馬鹿か、と言ったり、
頭を軽く小突くなどはしていましたが、今回は逆切れしました。

脳みそ・・・のところだけは訂正しろといわれましたが、
改善しないお前が悪いと言うと、出て行ってしまいました。
今日離婚も切り出されました。

でも離婚はしたくありません。
俺は悪くないと思ってるのですが、謝ったほうがいいでしょうか？