マイホーム購入直前に仕事を辞めたい旦那

長文失礼します。
子供1歳（持病あり）
私（妻） 育休中の公務員　来春復職予定
夫　去年8月に2度目の転職
2ヶ月後にマイホーム購入予定で、ローンは本審査承認済み。契約は1ヶ月後予定。ペアローンです。子供が生後3ヶ月の時に2度目の転職。ストレスで私への八つ当たりが酷かったので承諾

昨夜旦那が仕事を辞めたいと言ってきました。
以下、経緯です。

・今の職場は電車通勤片道1時間半
・朝6時前に家を出て帰りは20時〜22時
・帰ってからは柿の種などスナックをつまみ、風呂に入って夕飯を食べ、子供の寝る直前の世話を少しして（時間による）寝る
・子供の寝かしつけは私
・休日は朝8時起き。土曜日に私が整体に行くので3時間ほど子供を旦那に任せる。あとは離乳食を作りだめする数時間は子供を見てもらう

以上が今までの流れです。残業が多く、疲れたと毎日言ってましたが、昨夜辞めたいと言い出しました。
私としては辞める前に転職先を見つけることを条件にすれば、好きにしてくれと思ってますが、心配なのは住宅ローンです。今の給料を前提として審査が通っているので融資前に辞められては困ります。
なので旦那には「心配なのはローンだけ」といいました。すると「今のはひどい言い方で、ショックで泣きそう。分かりました。ローンの為に働きます」と言われました。
私は「いや、1歳の子供がいて家買う直前に仕事辞めたいって言われてるのに猛反対しない私って十分優しくないか？何言ってんだこいつ」と思ってしまいました。転職3度目になるし。
私の言葉が足りなかったのもあるので、言い直したりしましたが、拗ねたままです。面倒くさいなと思ってしまいます。

私が冷たいですか？客観的な意見をお聞かせください。