私が我慢すべきでしょうか??

義母の行動についてなんですが、義母の家とうちは歩いて五分の距離にあります。
義母はよく、うちに来るのですが、私が娘(3歳)を叱るとすぐに｢ﾏﾏが悪いね!ばぁちゃん家行こ｣と行って連れて帰ります。娘も逃げ道を見つけたかのように｢行く行く｣と泣きながらついて行きます。
私としては、叱ったからには最後はやさしくしたいし、叱りっぱなしがすごく嫌で、でもなかなか義母にはっきり言えないままで…困ってます。昨日も、すぐ追いかけて｢帰ろ!｣と言っても｢ﾏﾏが怒るし帰りたくないよね!｣と言ってました。
先の事考えると、今はっきり言うべきなのか(やめてください。ときつく)言わないべきなのか悩んでます。
どなたかアドバイスいただけませんか??