トピ主です。
たくさんのご意見ありがとうございます！
みなさんのコメントを見て断る決心がつきました。旦那はできれば行ってほしい感じの言い方でしたが、自分の体とお腹の子を1番に考えます。
近場での食事会だけなら行くと伝えて義実家には旦那から伝えてもらいます。
ありがとうございました！