うちは小6と小4の男の子です。私がイライラしてると二人ともこれ以上怒らせないように気を使ってくれるので、落ち着いたときに逆に申し訳なくなります。

そういう時は後で、あの時はイライラしててごめんね。と謝ります。

主さんも落ち着いてから話してみてはどうでしょう。うちは素直に謝ると、気にしてないから大丈夫だよとか優しいことを言ってくれます。