子どもに奨学金使ったら陰口言われてた

パート先で奨学金の話になって、私を含めて数人のパートさんの子どもが奨学金を使っている、使っていたよという話をしました。
その場では聞いていた人それぞれが
大学費用高いよね〜とか うちも使わないとやっていけないよ
などと言っていましたが、私がいなくなった途端、我が家の悪口を言われていました。我が家以外にも奨学金を使っている家庭は他にもあったのに私だけ。
我が家が旦那が車好きなので車にお金をかけていたり、旅行に行ったり外食が多いところがあるのに子どもの教育費は借金なのか？
という内容でした。子どもの教育費を貯めることに躍起になっているよりも生活を楽しみたいと思っているだけなのに。
奨学金という便利な制度があるのだから使ってはいけないのでしょうか？