逆単身赴任。あり？なし？

子供が小学生の時に、私の実家の都合で私と子供だけで私の実家に一時的に住みました。
子供も転校し楽しく過ごしていましたが、落ち着いた頃また旦那の住む家に戻り子供ももとの小学校に戻りました。
そこの小学校ではうまく行っていたんですが、今度は仕事の都合で隣の市に引っ越し転校。
子供が嫌がるようになりました。
悩んだ末、再び私の実家に住んで子供も落ち着いています。
長期休暇まるまる旦那の住む家に戻る生活です。
でもここ最近は私も仕事があるので子供だけで帰しています。
私のこの生活、周りの友達が羨ましがっていますが中には僻む人もいて心無いこと言われます。
どう思いますか？