どういう義母かによるかな。
義母がおかしい(アレルゲン食べさせるとか)なら会わせないけど、ただ自分の感性と違うだけで嫌ってるならどうなんだろう。
あと、自分がそれなりに(自分も一緒に)会わせたりしてるなら断ってもいいんじゃないかな？

自分が一緒でも会わせたくない、でも旦那と義母に任せるのも嫌、とかだとちょっとワガママかも。(自分の実家に会わせる頻度にもよるけど)