どうしても面会を容認しなきゃいけないなら、面会交流の第三者機関を通してなら可としたらどうですか？面会交流で検索するとけっこう出てきますよ。
私も離婚調停でそう決めました。第三者機関を通して面会申込みをするので、直接やり取りが不要だし、面会したい側は費用が発生します。会う時も第三者機関の施設内のみとかも有りますし、必ず第三者機関の職員立合い希望も出せますので、かなり安心かも。
私の場合は面会以前に養育費の支払いが無かったので、会いたいと言われた時に権利を主張する前に義務を果たせと弁護士から警告してもらい、いまは音信不通です。
簡単に決めちゃダメですよ！