4歳の子、目の前の公園なら目離せる？

町内会の集会所の目の前にある公園で子供と遊んでいたら、
集会中の役員さんのお子さん（4歳）が出てきてお母さんも一緒に出てきたのですが、うちの子と遊び始めたらお母さんはお子さんを置いて中に戻っていってしまいました。
会議中で戻らなきゃいけなかったんだとは思うんですが、置いてくの！？と驚きました。
目の前と言っても中から公園は見えません。
私を当てにしていたのか？普段からもう目を離しているのか？と疑問でした。
4歳はまだ個人的には目を離すことはできないと思ってるのですが、過保護な考え方でしょうか？
何があっても責任取れないので、うちはもう帰るから戻ったほうがいいよと伝え戻るところを見届けて帰りました。