扶養しているのは主さんかもしれないけど、誰が扶養しているかは問題ではありません。子供をつれて行くなら親権か監護権がないと、連れ去りになりますよ。
逆にそんなに主さんが稼いでいるなら、それを主張して親権を取る調停をしてみたらいいんじゃないの。
何しろ理由があろうが不倫が一番悪い。悪いけど、それでも親権者になれる場合もある。