バツイチと結婚したなら、こんな事も我慢しなきゃいけないの？

旦那はバツイチで、子供が2人います。(10歳、7歳)
元妻が子供を引き取って育てています。

旦那は月に2回程子供と会っているんですが、子供と会う時は何故か元妻もセットで付いてきます。
まだ子供が未就学児等で小さい場合なら分かるんですが、もう小学生だし、子供だけじゃダメなのかな？とモヤモヤしてはいますが、まぁそこは親子間の問題なので、何も言わずにいました。

しかし、この前の面会の時に、上の子がゲームで遊びたいと言い出したらしく、旦那が家に子供達を上げたそうです。子供だけならまだしも、元妻もです。

しかもそれを黙っていて、仕事から帰ってから家の違和感に気付き、問い詰めたところ、家に上げたと…それで大喧嘩になり、しばらく実家に家出していたんですが、旦那の母から連絡が来て、帰ってあげてと。

そんなつまらない事で一々喧嘩して家出していたら、この先やっていけない。バツイチと結婚したんだから、そのくらい覚悟の上だったでしょう。バツイチと結婚するとはそういう事なんだから、我慢しなさい。

と言われました。確かにバツイチと分かってて結婚したし、子供に会うのも、元妻と連絡取り合う事も、金銭的な事とかも覚悟して結婚したし、そこについてモヤっとする事はあっても、旦那にとやかく言った事はありません

でも今回は旦那だけの問題ではないし、私の家でもあります。そこに私に内緒で元妻を家に上げるのは、おかしいですよね？バツイチと結婚したら、どんな事も我慢しなきゃいけないんでしょうか