学生時代のグループの中での結婚

元旦那と私は学生時代のサークル内での結婚でした。
しかし、義両親と旦那のモラハラが酷すぎて離婚しました。
義両親と旦那は慰謝料や養育費は払わないと言ったため、サークルの仲間数人に相談したところ、一気に そのグループ内で広がり、元旦那は そのサークルの男子メンバーからも干されるようになりました。
これが私のせいだと元旦那は言います。
自分が養育費すら払わずにいることは棚に上げて、です。
義両親と旦那は払おうと思っていたが、こんなことをされて払う気が失せたと言いますが子供には会わせろと言います。
私の母も養育費を貰っているもらっていないは関係なく、子どもは会わせた方が良いと言います。
サークルメンバーの特に女性陣は絶対に会わせるべきではないと言います。
私も会わせたくないのは本音ですが、子どもの父親として会わせるべきでしょうか？
そして、慰謝料や養育費を払ってくれていないことを理由はどうであれ拡散してしまったことは謝罪した方が良いのでしょうか？