相手がどう思ってそうか意見を率直に聞かせてほしい

我が子は小学1年と年中。
それなりに言うこと聞く年齢になってるから、掃除したい時などは、庭だけで遊ぶの限定で、子供たちだけで外で遊ばせてる。
ちなみに、電車もないようなド田舎だから、庭はけっこう広く、道路に出なくても十分に遊べる。
声も聞こえるし、ちょこちょこ外は覗くようにしてます。

隣の家の子が、上の子と同級生で…我が子が遊んでるとよく外に出てきます。
隣の家の子は下の子が2才なので、隣のママも一緒に出てきます。
そしたら、隣のママに我が子も一緒に面倒みてもらってるような状況に…

相手の親は私も外に出てこいよと思ってますかね？
私としては、掃除したいのに、外に出る時間を取られたらやっかいなんですが…。
もちろん、すみません。とは言ってます。

ちなみに、私が隣の家の上の子だけ一緒に面倒みてることもしょっちゅうあります。
お互い様ですかね？