どうもしなくていいと思います。
影で何か言われていても直接意地悪されてるわけではないのですよね？
影で何か言われているかどうかも定かではないわけですし…
そういう人達が多くてやりづらいと思うのなら辞めて違う仕事を探したらいいと思います。
子どもがいたら子どもの体調不良などで休まなくてはならないことが出てきます。それに対して快く思わない人もいるでしょう。そういう人がいない職場もあるとは思いますが、大抵の職場にそんな人はいると思いますよ。