会わせたくない

５ヶ月になる子供がいるシンママです。子父とは子が生まれてすぐに別れました。
暴力などふるう人でした。
子供にはしなかったのですがけんかをする度に、私のことはともかく、子供のことまでけなしてきました。
その時感情的になって言っていただけかもしれませんが、私は許せません。
別れた後、養育費などの話になり、養育費を払うから月１で子供に会いたいと言いってきたので私は承諾しました。
先日、養育費をもって子供に会いにきました。私はその養育費を受け取り子供にも会わせました。
ですが今になって会わせたくない気持ちでいっぱいになりました。
養育費も一切いらないとなれば、子供に会わせなくてもいいですよね？
それでも自分の子だから会わせろと言ってきた場合、法的なもので止めれたりできますか？
先日もらった養育費も返す予定です。
経験された方や、分かる方教えてください。

文章が分かりずらくてすみません。