会うのは女の孫だけで良いのはなぜ？

子供の頃は兄と一緒に母に連れられて
母方の祖母の家に行っていましたが

兄が中学生くらいになってからは
母が帰省するときは
娘の私だけを連れて帰りました。

その時は、
「兄は田舎じゃすることなくて暇だから可哀そうでしょう」
という母や祖母の言葉をそのまま鵜呑みしていたのですが

4歳の息子を持つ30代の現在でも
独身の兄は顔出さず、私と母だけで帰省します。
独身の兄が時間の都合がついたから一緒に行こうか？と言っても
母と祖母は断ってしまいます。

確かに、女同士の方が会話が盛り上がりますし
祖父はもう亡くなっていて、父親はついてこないので
女性だけの中にいるのは
兄が肩身狭いのかもしれませんが

子供のころから聞くに聞けず
いつか、私の息子まで来なくてよいと言われたらどうしようなんて考えてしまいます。

一方義母はいつまでも
息子loveなので各家庭の考え方と言われれば
それまでなのですが

お時間あれば、意見を聞かせてください。