自分が大変な時に助けてもらっていたから

自分の子が まだ小さい時、子どものことで 度々仕事を休ませてもらっていました。
今、自分の子は大きくなったので、その時の恩返しと言ったら烏滸がましいですが、お子さんのことで休む人には できるだけフォローしてきたつもりでいました。
そうしたら先日陰で
「主さんなら子どもの理由をつければ都合つけてくれるよ。使えるよ。」
と言われていることが分かりました。
それを聞いて、これからは もうフォローはやめようと思いました。
で、今回、お子さんのことで困っている人がいました。私は黙っていたら、その人は直接私のところにきて
「この仕事、代わって貰えませんか？子どものことなんです。」
と言われました。
「う〜ん、この間、〇〇室の前で嫌な思いしちゃったから、もうそういうことは止めようと思って。ごめんね、他をあたって」
と周りに人もいたところで、わざと周りにも聞こえるように言いました。
周りは一瞬静かになって、その後、数人個別に謝罪に来ました。(多分、私が陰口を聞いた人達以外もいたので、他でも話していたのが想像ついてしまいました)
でも、もう決めたことだから。これからは他の人にあたってね。
と言ってバッサリ切っているのですが、多分本当に困っているのだろうなという人には手を差し伸べたいと思ってしまうのですが、それをしたら「人を見てる」と言われそうでどうにもできません。