融通がきく…と言うのは、会社側がダメと言わないから主が勝手に解釈してるだけであって、主と同じ立場のパートからすれば迷惑だと思う。面接の時に「子供が早く帰る時は早退したい」みたいな話をしてるなら別だけど。
陰口言われてるって事は迷惑かけてるんじゃないのかな？