義母がストレス

夫婦喧嘩をして、旦那が実家へ帰りました。
その時親に「精神障害者と言われた」と報告したそうです。

私は精神障害者という言葉は使っておらず、発達障害と言いました（夫が勘違いしているが、私がそう言ったと言い張る）。
発達障害といった理由は、今まで散々苦しんできたことを調べたら当てはまることが多すぎたからです。

義母は激怒。夫の様子を聞くために電話したのですが、義母から責められました。
ちなみに精神障害者と言われた理由、夫は義母へ話していないそうです。義母も私に聞いてきませんでした。
電話では「育児は女の役目でーーーとか、男の役割は外で働くことでーーー;」など言われ、私の仕事（いま育休）についても「今の仕事でキャリアつみたいの？」などと謎にしつこく聞かれました（怒り口調で）。仕事を辞めて欲しいと前々から遠回しに言われます。

その他、これまでも約束の時間を守らなかったり（30分前に来る）、ものを買わないでと言ってるのに買ってきたり、嫌なことを散々我慢してきました。

そんな感じの義実家なので、私は一切関わりたくないしそんな人達に子ども達を会わせたくないと夫へ伝えました。

それでまた義実家激怒です。
2度と会わせないなんておかしいじゃないか！と。
私が無理だと思う人に大切な子どもを会わせられません。もちろん、子どもが大きくなって会いたいと言えばそれはokですが。

私の対応がおかしいのでしょうか。