私も性格の不一致と元旦那の不倫により離婚しました。
離婚時は子供が9歳でした。

私の意見としては、相手のＤＶがあったり、子供が面会を嫌がったりしないのならば、会わせたほうが良いと思います。
以前離婚後の子供の心のケアの本で読んだのですが、離婚後も離れて暮らす親と良好な関係があったり、養育費をきちんと払ってくれた事実などで自分が愛されていたと感じ、離婚の悪い影響が少なくて済むらしいです。
その為、私は離婚理由の不倫については子供に話しをせず、相手の文句は言わず、面会も出来る限りさせています。相手の事はものすごく嫌いですが、それでも子供の父親なので、自分の感情を優先せず、子供にとって一番良い選択が出来るように努力してます。

ただ、私の場合は、元旦那と相手にまだ子供がいないので、状況は違うかもしれません。