親が要注意人物

近所に、親がかなり危険人物な一家がいます。
先日、娘がこの家の子供と知らないうちに遊んでいました。
それから、何度か遊びに誘ってくるのですが、私が付いていけるときだけ、少し遊んでいました。
だけど、正直このうちの子とは、遊んでほしくありません。
子供を見てるとほんと不憫に思うくらい、親に問題があるんです。
母親が精神疾患があるとかで、近所中でトラブルを起こし嫌がらせをしたり、自治会でもトラブルを起こして強制退会させられたりしています。
父親の方もこの母親を止めるどころ同調して騒ぎ立てたりして、みんな関わらないようにしてます。
もし、遊んでいて何かあった時に、この親が出てきて騒ぎ立てたり嫌がらせをされたらと思うと、ホントに怖いです。
戸建ての為引っ越しも出来ないし、遊ばせないために、なにかいいアイディアありませんか？