面会させたくない。

離婚して４ヶ月になります。今、養育費や面会について調停で話し合っているのですが‥
養育費を元旦那に請求したところ、払う代わりに子供と面会させろと言っています。
子供は１歳２ヶ月の娘なんですが、私は面会させたくありません。
理由は、妊娠後期～別居直前まで私はＤＶを受けていました。最後は、腰を集中的に蹴られて子供を抱っこすることができなくなってしまい、実家に助けを求めてそのまま別居→離婚となりました。娘に暴力をふるったことはありませんが、私がずっと暴力を受けていたので娘と会わせるのが心配で‥

面会を拒否することはできますか？
また、養育費＝面会となるのでしょうか。
無知なので教えていただきたいです。
よろしくお願いいたします。