シングルの私(長女)、弟(長男)夫婦との関係 へのコメント（No.1）

私は二人姉弟の長女ですが、結婚・出産後、旦那が亡くなりシングル、自分の持ち家に住んでいて、実家から10分の所に住んでいます。
弟は跡取り(と言うほどの家ではありませんが)で結婚後、義妹の要望で私の実家に住んでいます。
今時点では、実父母にはうちの息子しか孫がいないので、すごく可愛がってもらって、しょっちゅう実家に呼ばれますが、私自身、義妹に対してどう接すればいいのか図りかねています。
実は、義妹はもしかしたらこどもが出来ないかもしれなく、弟含め両親もそれに対して責めることもなくいますが、私の息子が遊びに行くとなんとなくたまに気まずい雰囲気になってしまいます。
両親から見たら唯一の孫であるうちの息子を、連れていかないのも可哀相だし(息子自身もじいちゃんばあちゃん大好き)、でも、義妹の気持ちも分かりかねるし…
私からすれば、実家だしいつでも息子を連れて遊びに行きたいのですが、私がどういう風にすれば義妹に嫌な気分にさせずにすみますか？