疎遠中の義両親との食事会、受け入れるべき？

長男の就職が決まり、配属先によっては年度内に家を出る予定です
就職祝いも兼ねて我が家(夫婦、長男、長女、次男)と両家実家の両親(子ども達の両家祖父母)で食事会をしたいと旦那から提案がありました
夫婦間での話なら即断ったのに、子ども達の前での話だったので断れず…
でもどーーーーしても前向きになれません
長男は「就職したらそうそう会えなくなるだろうから食事会してもいい」
長女、次男は「してもしなくてもどっちでもいい」
と言っています

私のワガママで食事会をしない、というのはナシですか？
ちなみに食事会はまだ日時も場所も決まっておらず「やろう！」と話しているだけです
義両親との疎遠理由は私が様々な理不尽な扱いを受けたことに我慢ができなくなったからで、かれこれ５年程は会っていません