女から嫌われる服装ばかりしてると言われました

仕事は会社行ったら制服に着替える派遣工場勤務なんですが、オフィスカジュアル系よりの綺麗目な服装が好きで、私服全体的にそんな系統ばかりです。
通勤前に保育園送迎していくので、同じ園のママさん達に私の仕事を話す機会があると驚かれる事が多いです。
先日、母から
「そんな系統の服装でやる職業でもないのに小綺麗な格好ばかりしてると同性から嫌われるよ？オフィス系の仕事じゃないのに気取ってる風に見えるからね。」と言われました。
その時はアイボリーのノーカラージャケットとチェックのワイドスラックス履いてました。
地域柄もあるとは思います。
今住んでる地は田舎で、他のママさん達はTシャツ、パーカー、上ジャージ、部屋着みたいな格好で送迎・通勤する人多いんです。
飲み会・ランチでもそんな服装が多いですね。
数年前までは今の所より都心に住んでいたので、工場勤務でも綺麗な格好して通勤してる人が多かったんです。
郷に行ったら郷に従うで服装も他の人に合わせた方がが良いでしょうか？