私だけ招待されなかった親戚の食事会

昨日、旦那側の親戚で食事会がありました。
私は呼ばれず、旦那と子ども4歳3歳で行きました。
帰宅後、旦那から3歳の子が私がいないのと知らない大人が何人もいて食事もせずにずっと泣き叫んでいたと聞きました。それを見た4歳も不安になってグズグズだったと。
それは想定内だったよね？と言ったら旦那は
まあそうだね。と納得していましたご、義母から後から連絡がきてうちの子2人に食事会を台無しにされた、躾がなっていないと怒りをぶつかられました。
普段、義親と会うときには私がいたから そういうこともなかったと思う。今回は私は正体を受けなかったから行かなかっただけ。あと、躾の部分を言うなら、親であるオット君が一緒にいたのだから夫くんの躾ができていないところを夫君の親として注意するべきだったのでは？と伝えたら、また別口で義姉から連絡があり、義母に謝れと言われました。
旦那からも面倒臭いしこれからの親戚付き合いがあるでしょ？謝ってくれないか？と。
私は嫌でも謝ったほうがいいのでしょうか？また、謝るとしたらなにを謝ったら良いのでしょう？
旦那に聞いても「なんでも良いからとにかく謝れ」とばかり言います。