主です。皆さんレスありがとうございます！
やっぱり我慢ですかね。子供だけでなく、ママ友に会うと「昨日誰か来てたよね。誰？」「お休みの日は必ずどこか出かけるよねー。いいなぁ車があって」「昨日◯◯（うちの子の友達）来てたみたいだね」など言われます。他に、うちは習い事をさせていて私が送迎しているのですが習い事の帰りが遅くなると「◯時にいつも帰って来てるよね？昨日どうしたの？」と言われるので、監視されてるのかなって思ってしまいました。

私は午前中だけのパートをしているのですが、ママ友は歩いて5分のスーパー以外には殆ど出歩かないと言っていました。