これは母性と関係しているらしい。
母親が子を守ろうとする行為、また母親の子への愛情（独占）本能だそうです。
断固として断らないと、ご自分のイライラが募りますよ。

「子供たちと留守番してからだを休めたいので、是非主人を含め、みなさんで買い物でも行ってきてください」と言ってみては？