職場が若返ってしんどい

45才、事務パートしています。
最近会社が増員したために人が増えて、職場の雰囲気がガラッと変わりました。
今までは40代のおじさんおばさん数人だけで穏やかにやってたんですが、今は20代30代が中心になりやる気のある人ばかりなので社内に急に活気が出てきました。

もちろん元気なのはいいんですが、ノリがしんどく感じてしまいます…。
今日は「みんなでカラオケ行きましょう！」と盛り上がっていて、一応私も誘ってくれましたが夜は出られないのでお断りしました。社交辞令なのはわかっているのでもちろん最初から行くつもりもないです。でもそういう会話の間中しんどくて、いたたまれない気持ちになるのできついです。　

職場で、自分より15才以上若い人ばかりの中で働いている人っていますか？
立ち位置難しくないですか？
向こうも気を使うだろうし、どういう感じでいればいいのか悩みます。
もしかして、もう合わないと思った時点で辞め時なのかな。