義家族にゴールデンウィークの旅行を反対されました

ゴールデンウィークに1週間ほどの長めの家族旅行を計画しています。
まだ予約はしてないのですが(直前予約で大丈夫な所にする予定)、先日、遠方の義母にゴールデンウィークの帰省の予定を聞かれたので、旅行に行くかもしれない旨を伝えるとちょっとキレ気味で色々言われました。

義母としてはゴールデンウィークなどの長期休暇は帰省するのが当たり前、特に今年のゴールデンウィークは義妹が出産(予定日がゴールデンウィーク)だから来て当然ということです。
引越しの手伝いもなく全く帰省しないと不満を言われてます。

義母は昨年夏に義妹との敷地内同居のため引越しをし、以降私たち家族は足が遠のいてしまい、一度も泊まっていないのが不満なようです。日帰りではあります。(高速で3時間)
それまでは長期休暇は2～3泊で帰省していました。

行かなくなったのは元々遠方への帰省は面倒がる主人ですが、義妹が敷地内にいるのが一番の理由です。別棟ですが行けば当然やって来て顔合わせる事になります。

表面上は普通にしてるので義母はまったく気づいてませんが主人は義妹のことが昔から嫌いです。機嫌が悪いと旦那ではなく私に当たるのも許せないようです。
さらに義妹の旦那さんにも気を遣う、義母が何かにつけて義妹に甘いのもうんざり、こっちが用意したお土産なんかも全て横流しなのも気に入らない(義妹たち用にも用意しているのに)、新居に引越して自分が育った街でも家でもないので何の思い入れもなく落ち着かないからです。

今回の旅行も普段激務で久しぶりのゆっくりできる休暇というのが大きいですが、帰省が嫌というのも多少あります。

旅行は取りやめた方がいいですか？
私も帰省したいわけではないですが、旦那の義母に対する態度見てるとヒヤヒヤします。