上司にご飯誘われたら仕方がないと思います。
断りずらいこともありますし、私も誘われたら行きます。

ですが
謝るべきですし「上司に誘われてお弁当食べれなかったから夜ご飯に食べるね」など事前に連絡して欲しいですね。
私が主でしたらお弁当作るの辞めます。もちろんお昼代はお小遣いの中でやりくりしてもらいます。