住んでる町内で仕事して後悔した事ありますか

公の相談窓口的な仕事をしてます。
顧客様に子どもの同級生の親(と祖父母)が来てしまってから、学校での親同士の付き合いで一部からハブられたような存在にされてしまいました。
順を追うと、
子どもの同級生の親は学年役員を何度もするような統率力や影響力のある人です。
その親祖父母が私にギリギリ無理な相談をしてきたのですが。
仕事とプライベート(学校付き合い)は別と割り切り穏便にお断りしたんです。
そのあたりから私と子どもにまで風当たりが強くなってしまいました。
未就学時代から仲良かったママ友からコッソリ「あの人と何かあったの？」と聞かれたので、たぶん何か噂を流されてるか私が気に入らないことがわかりやすく態度に出て皆んなが感じ始めてるんだと思います。

やはり窓口業務は子ども家族にも影響が出てしまう恐れがあるので、住んでる町内ではやるべきではなかったのかな…
それとも今後の付き合いも見据えてオマケとして言う事聞いておけば良かったのなと色々と後悔してます。