養育費は払わないけれど子どもには会わせろという元義両親と元旦那

元旦那が元旦那の幼馴染と不倫をし、幼馴染を妊娠させたため離婚しました。
元旦那の幼馴染は元義実家と近く、あちらの親と元義両親は知り合いでした。
そのため、元義両親は元旦那側に付き、あちらの親から数100万円の慰謝料が払われ、離婚になりました。最初のうちは我が子の養育費を払ってくれていましたが、私の親の援助で私立中に入ったことが分かると、こちら(元旦那側家族)余裕がないからという理由で支払われなくなりました。
最近、元旦那と幼馴染が別居しているという噂を聞き、しばらくしたら元義両親と元旦那から娘に会わせろと連絡がありました。
取り敢えず、支払われていない分の養育費を払ってから話し合いましょうと言ったら
娘に会うのは親の権利だから
と譲りません。
父や私の会社に来たりもしています。もちろん受付で門前払いですが。
最終的にはまた弁護士を通すつもりではいますが、養育費が支払われていなくても娘には会わせなくてはいけないのでしょうか？
娘は「会ったとして どうするの？何かあるの？」と言っていて会いたいとも会いたくないとも言っていません。