離婚を突きつけられてパニックしてます
助けてください

◆現在の状況 夫に離婚を突きつけられた
◆最終的にどうしたいか 別れたくない
◆相談者の年齢・職業・年収（手取り額）45 専業主婦
◆配偶者の年齢・職業・年収（手取り額）47 会社員 400万
◆家賃・住宅ローンの状況 残り1000万くらい
◆貯金額 500万
◆借金額と借金の理由 なし
◆結婚年数 15年
◆子供の人数・年齢・性別 なし
◆親と同居かどうか 別居
◆相談者と配偶者の離婚歴、あればその理由 なし
◆離婚危機の原因の詳細（長くなっても思い付くものを全て書いて下さい）

4年前に夫の浮気が発覚
相手も既婚者だったため、両方の配偶者を入れて4人で話し合って精算
向こうの旦那さんの希望で、家計的にはただのいってこいになったとしてもその実績を残したいと、慰謝料を100万ずつやり取りした
（うちの夫が相手の旦那へ、相手の女性が私へ）
うちは別れる気はなかったのでその際の慰謝料は一旦家計から出して、あとは夫が小遣いから返済という形をとった
私は、その慰謝料は私のものだと思っていたので自分の口座にそのまま入れて、4年の歳月の間に自分を癒やすために楽しいと思える事やちょっとして贅沢に使ってきた
ちなみにまだ10万ちょっとくらい残っている
このたび、夫が100万を返済し終えたのと同時に、私が受け取った100万の使いみちを話しだしたので、もうないよと言うと激怒
あれは二人のお金だと、使い込みだ、訴えてやると叫んで、離婚を言い渡された
夫の豹変も、訴えられると言う言葉も、自分が使い込みをしてしまったのかもしれないという事実も怖い
ついさっきの出来事で、夫は出ていったきり帰ってこなくて、頭がパンクして涙が止まらない
夫の言ってることは正しいのでしょうか