孫に会いたいという理由で元義親が養育費を払っている

元旦那が養育費を払わないので、義親から毎月の養育費を手渡しで貰って子ども達を元義親に会わせています。
養育費の全額を元義親が払っているのか、元旦那がいくらか払っているのかは知りません。
このことについて元義妹が知り、おかしいと私に言ってきました。
それなら もう会わないようにすると私は言ったのですが、元義妹の言い分としては
兄が子どもの父親なのだから、無償で会わせるべきだ
と言ってきます。
公正証書も作成しているのに、です。
取り敢えず、元義妹が口を出してきていて養育費は出せないと言われているので、先月と先々月は会っていません。
私や子どもは それで良いと思っているのですが、公正証書で決まっていても父親が子どもに会いたいと言ったら会わせなくてはいけないのでしょうか？

義妹は、こちらの子どもに お金を使っている自分の親に納得できないようです。義妹の子に使うお金よりもこちらに使うお金が多いのが納得いかないようです。