隣に住む義父母の誘いを断ったら

怒られました。明日旦那が忘年会でいないので、一緒に夕ご飯食べないかと言ってくれましてが、正直1人が落ち着くし、断りました。
そしたら、「嫌なのはわかってるけど、嫌な事でもたまには我慢してでもいやったら？車に乗せて行くの遠慮してるけど、そりゃ自分で行ったほうが気も使わないしいいのわかってるけど、ちょっとなんでもわがままじゃない？」と言われました。
私は確かに普段から1人行動が好きで誘いに断ってるけど別に自由じゃないですか？