旦那の義兄弟に受け入れられてると思ってたけど…

恥ずかしながら私と旦那はデキ婚です。
今子供が2歳とお腹にもう一人いて、旦那との夫婦仲も良いです。

結婚する時には義両親は、子供は授かり物だから、責任持って二人で仲良くやっていきなさい。と言ってくれました。
ですが、旦那には妹と弟がいるんですが、その二人はあまり良い顔をしていないのは知っていました。

なので少しでも距離を縮めたく、義実家に遊びに行って、早く皆と打ち解けようと頑張ってきました。
そのおかげか、段々義兄弟も主ちゃん主ちゃんと言ってくれるようになり、子供の事も凄く可愛がってくれて、受け入れてくれたんだと思ってました。

ですが先日、旦那側の親戚の集まりがあった時、旦那の従姉妹と義兄弟が
本当は◯◯ちゃん(旦那の元カノで家族ぐるみの付き合いがあった幼馴染)と結婚して欲しかった。
そしたらこんなに気を遣わなくて済んだのに。
元カノの方がお兄ちゃんには似合ってた。

等と話しているのを聞いてしまいました。
とてもショックで、本当はそんな風に思っていたんだと思うと、今後どう付き合って行けば良いか分かりません。

子供達も義兄弟に懐いてるし、可愛がってくれるし、義両親はとても良い人だし、疎遠にする勇気もありません。皆さんならどうしますか？
旦那にはそういう話を聞いてしまい、今後どう付き合っていけば良いか分からないと悩んでいる事は言っていませんが、言った方が良いのか、黙っているべきか、どなたかアドバイスください