イライラが収まらないので聞いてほしい！！長文です。

私は義親と敷地内別居してます。
仕事は自営で義親と一緒にしてます。
子供は中、高生2人。
昨年は子供の受験や中体連などで帰省していません。今年は仕事も落ち着いたし、子供たちも大きなイベントもないので夏休みに子供と私で8日間帰省することに。実家が県外なので、旅費やら、向こうで使うお金などで20万円おろしました。
旦那にも帰省中のお小遣い渡そうと思い、いくらくらいいる？って聞いたら「２０万」と言われました。はぁ？そんなにいらんやろ！って言ったら、
「お前は２０万使うのに！？」って言われました。
私はその言葉がひっかかり、ずっとイライラしています。ひっかかる私はおかしいのでしょうか？
その言葉以来、旦那と距離置きたいくらい苦手になってしまいました。その場で私は言い返せず心に留めてはいるのですが、帰省で20万使うのと、遊びで20万使うのと違いますよね？
みなさんなら、何とも思わないですか？