高収入と言われる職業のご主人をお持ちの方

イメージで妬まれることありますか？
私は夫が医師ですが、子供がもし医学部に進むとなるとかなり貯金が必要なので、独身の時よりも質素に、ごく普通の生活をしています。車も2台持ちですが国産普通車と軽、服はユニクロかグローバルワーク、フォーマルウェアは格安レンタル、のような。
でも、車を買ったと知るとやっぱりセレブは違うね、や上記の服を着ていればいつも高そうな服だよね、等いちいち思い込みで言ってくる方がいて疲れます。否定しても信じてもらえません。
それだけならよかったのですが、先日は上記の方のお1人に、子供に直接、事実無根の嫌なことを言われました。
夫の職業をだまっておければいいのですが、子供はパパがお医者さんなのが誇らしいようで、止めてもいつも話してしまいます。
どう振る舞えば穏やかな日々が送れるでしょうか。