トピ主さんへの返答なので「匿名」さんはスルーでお願いします。

我が子が、不登校迄行かないけど、長期休み明けに行き渋りなった時に学校の先生やカウンセラーが言っていました。
「大人が社会で人間関係や業務内容に悩み、仕事に行けなくなる様な症状がでるのと同じように、子供達も見えない何かと大なり小なり、日々戦っているんです。そういう時は無理をしても改善はしないし、本人に寄り添ってあげないと救ってあげることは出来ません。親御さんが安心して拠り所になってくれるような存在であれば、また学校に通常通り行けるようになるはずですよ」

周りの保護者の言うことは、あなたのお子さんにとって為になることではなく、単なる弱い者いじめです。
その保護者さんもいつか子供のことで正解のない悩みにぶつかるでしょう。

昼からでも登校してるなら、お子さんは頑張っていて偉いと思います。
一緒に遊ぶ友達がいるなら心強いですね。
外野の悪い意見は聞き流していくか、「他の保護者にこう言われて悩んでします」と先生などに相談してください。

人の痛みが解らない人は、心の成長ができない人なんだと思いますよ。
お子さんのペースに合わせて、頑張りましょうね。