私も主さんと同じ立場ですが私の場合母親です。
私には３人の子供がいて上２人はもう成人して、下が今小６です。

私の母は借金と男を作っていなくなりました、私が子供の頃は父親が仕事で家にいない事が多く、父がいないと起きない、逆さ吊りにされお風呂にジャボジャボ浸けられたり、雨の日に下着だけで外に立たされたりもっともっと酷い虐待を受けてきました。

父親は母がいなくなってからとても優しい人と再婚して幸せに暮らしてますし、私も再婚相手が本当の母親だと思って今迄生きて来ました。
上の子供達には成人してから本当の事を言いましたが小の子には言ってません。

何故言わなかったのかも子供達に言いました、お母さんに(私)にそんな酷い事をする様な人だから、貴方達(子供)にどんな事をするか分からないし、お金をくれとか言い出して貴方達(子供)に迷惑を掛けるのが嫌だったから、それにお母さん(私)は今のお婆ちゃんの事を本当のお母さんだと思っているからと説明したら、子供達は今迄通りお婆ちゃんの事は本当のお婆ちゃんだと思ってるから大丈夫だよって言ってくれ、逆に子供達にお母さん凄い苦労して辛い思いしてきたんだね言われ、涙が出てきました。

夫も私が子供の頃どんな酷い虐待受けてきたのか分かっているので、お前にとっても子供達にとっても何のメリットもないし、お前の気持ちが一番だけど会わせなくて良いんじゃないかって、其に親父さん(実父)に悪いし裏切るような事したくないからって言ってます。

長くなりましたが何故主さんのご主人はそんなに会わせたいのでしょうか？
主さんにもお母さんにも嫌な思いをさせるだけだし、何のメリットもないどころか、一歩間違えたら、お金の事や老後の面倒等、デメリットと不幸しかないと思います。
そこ迄腹を括って、覚悟してご主人は言ってるのでしょうか？