うちは月一の面会を決めたのに1.2回会っただけで面会の連絡がこなくなりました。向こうが子供に会いたくないんだと考え、こちらから無理に合わせる必要もないのでそれっきりです。養育費はもらっています。
お母様が面会させたくなくて辞めたのなら後ろめたい気持ちもあるかもしれませんが、そうでないなら気にせず会ったらいいと思います。