夫が激怒　全面的に私が悪いのか・・・・

ケンカの原因は私が夫の弟夫婦に失言したからです。
義弟夫婦は典型的な「勝ち組カップル」って感じで、共働きで収入もかなりあるらしく、子供を作らず豪邸でペットと暮らしています。
先月、夫の実家にみんなが集まった時に義弟が義両親に海外旅行をプレゼントしていた事を知りました。
帰りは義弟の車で送ってもらったのですが、その車内で夫が義弟に「なんかお前ばっかりにお金を使わせて悪いな。
オレは親孝行する余裕がないからさ」と実の弟に卑下した態度をとったんです。
私としては子供がいないんだから優雅で当たり前、必死に子育てしている我が家を下に見ているみたいでむっとして、つい「でもうちは子供がいるじゃない。
孫が一番の親孝行だよ」と言いました。
その場の義弟は「ほんとそうですよ」と言ってくれました。
でも帰宅してから夫が大激怒。
なんだあんな嫌味を言った！！と大声を出されました。
夫が言うには弟夫婦は男性側の不妊、つまり弟に原因があって子供が出来ない、奥さんはそれを承知の上で結婚したというんです。
私は弟に持病があるのは知ってましたが、不妊の事は記憶にないです。
でも夫は絶対に話したことがある！と言い張ります。
でも私は覚えていません。
夫は忘れていた、またあり得ないが百歩譲って聞いていなかったとしても男側に持病があって夫婦に子供がいないなら、不妊を想像できるはず、それなのにあんなこと言うなんて無神経だと一方的に言われました。
それ以来険悪です。
知らなかったのにここまで言われるなんて、すごくつらいです。
それに私の言葉って失言だとは思いますが、そんなに義弟夫婦を傷つける言葉でしょうか？
義弟夫婦は笑っていたいんですが・・・。