夫から私が働いてない事を喧嘩の時にバカにされました

今、子供が3歳で今春から幼稚園年少です。
夫の転勤で、地方に子供が1歳の時に引っ越しました。

幼稚園に行っている間に働いて無い事を
喧嘩した時に言われて、すごく嫌な気持ちになりました。
知らない土地でワンオペで育児してるのに、暇があると思われています。
悔しくて色々応募しているけど、田舎もあってか、私の提示している条件では一番近いコンビニでさえ受かりません。

まだ子ども居ない時は共働きで、私は営業職で残業も多く、妊娠5ヶ月の時に退職しています。

喧嘩の時に、これを言われてしまうって普通ではないですよね？働いて無い私が悪いんでしょうか？
皆さんなら何て言い返して、今後どのような態度にしますか？