姪っ子断り方

姪っ子が月に2〜4回（つまり毎週ごとになるときもあり）うち家族のお出かけにやってきます。実姉の子供なので夫は気にしていませんが私としては控えてもらいたいです。
夫はむしろ自分から誘ったりもするし、私が乗り気でないと不機嫌になったりします。
うちは男の子で姪っ子とは3歳離れているので自然と遊ばなくなる気もしますが。
義理姉に私から直接断るのは悪手でしょうか。言うとしたらなんと伝えますか?

旦那に反対すると旦那、姪っ子、息子だけででかけるからお前は来るなと言われます。息子はやはり両親そろってお出かけのが嬉しいようです。
水入らずあきらめて両親そろってでかけるか、自分の自由時間確保できると割り切って旦那に任せてしまうか、などとも考えてしまいます