シングルの私(長女)、弟(長男)夫婦との関係

私は二人姉弟の長女ですが、結婚・出産後、旦那が亡くなりシングル、自分の持ち家に住んでいて、実家から10分の所に住んでいます。
弟は跡取り(と言うほどの家ではありませんが)で結婚後、義妹の要望で私の実家に住んでいます。
今時点では、実父母にはうちの息子しか孫がいないので、すごく可愛がってもらって、しょっちゅう実家に呼ばれますが、私自身、義妹に対してどう接すればいいのか図りかねています。
実は、義妹はもしかしたらこどもが出来ないかもしれなく、弟含め両親もそれに対して責めることもなくいますが、私の息子が遊びに行くとなんとなくたまに気まずい雰囲気になってしまいます。
両親から見たら唯一の孫であるうちの息子を、連れていかないのも可哀相だし(息子自身もじいちゃんばあちゃん大好き)、でも、義妹の気持ちも分かりかねるし…
私からすれば、実家だしいつでも息子を連れて遊びに行きたいのですが、私がどういう風にすれば義妹に嫌な気分にさせずにすみますか？

ありがとうございます。
私も父も働いていて、平日は夜しか時間もないし、たっぷり遊ぶには休日しかないんです…でも、逆に休日うちの両親がうちに来てもらっても、義妹からしたらうちに来てるのがバレバレで、逆に嫌な気分にならないかと気になってしまいます。

里緒菜さんも同じような状態ですが？やはり実家に住んでくれている弟夫婦には気を使いますよね…
んさん、そこまでさんもありがとうございます。
私も両親も、義妹と普通にうまくいっていてますが、こどもの事で私が過剰に反応しすぎなんでしょうか…両親は孫がすごく可愛い・それで子はじいちゃんばあちゃんが大好きで、会う回数を減らすのはお互いに可哀相で…