おそらく、主さんを交えて話をしてしまうと
感情論になってしまうからだと思います。
実際は子どもが自分で物事を判断できる年になった場合は子どもに判断が委ねられる筈です。
そこに親の気持ちははいってはいけないから…
だからのご主人の対応なのだと思われます。
現にここに書き込みをされている時点で冷静ではありませんよね？

たとえ前妻が不倫をしていたとしても暴力を奮っていたとか、育児放棄していたという事実が無い限りは子どもが前妻の元に帰るという可能性は無いとは言えません。（子どもの意思にもよりますが）
話の輪に入れて欲しいという気持ちは解りますが、
紙の上では家族ですが、血縁上では主さんは他人です。
なので話を振られるまでは待っていた方が宜しいかと思います。

私もこういった経験があるのでコメントさせて頂きました。
良い結果になる事を祈っています。