次、相手のお母さんが来たら電話番号渡して、「まず連絡して下さい。大丈夫かダメか返事します。毎回、突然来られて家事が出来なかったりでちょっと大変なので。」って伝える。

昔ならともかく、今は電話やLINEでのお誘いというかお伺いするケース多いから相手を納得させれると思う。
そして遊ぶ回数を減らしていく。