旦那に合わせるべきですか？？

今、離婚前提で別居中で３歳♀がいます。旦那からは、娘に会いたいというメールが頻繁に来ます。今までは月２くらいで会わせていたのですが、私は新しい仕事が決まっていて、来週から働き始めて子供も保育園が決まりました。私が忙しいことを理由に会うのをためらうと【俺は父親なんだから子供に会う権利があるはずだ！】とキレてきます。けど私と娘が新しい環境に慣れるまではそっとしておいてほしいし、何より仕事しないで義親の仕送りで生活・アパートに女連れ込む・別居中の養育費一切払わない男に、父親の権利とか主張されるのは腹立つんです！けどまだ離婚してないんだから、会わせなきゃいけないんですか？長文失礼しました。