私が気になるからごめん！
子供がもう少し大きくなってからか、自分だけ行ける時があったらお邪魔させてね

って断るしかないと思う

私も何度も断って、断りきれなくなって新築のママ友のお宅に上がったことあるんだけど
子供がオムツにうんちして、どこで替えたらいいか聞いて、下に持参したシート引いて変えさせてもらったんだけど(もちろんゴミは持って帰ったよ)
他のママ友に
「和室でうんち変えられて最悪」
って愚痴られてた