そもそも子育て経験のある、理解があった上司に「特休使いすぎて周りから不満が出てる」って言われた時点でかなり迷惑かけてる事に気づかなきゃいけないし、「休みたくて休んでるわけじゃない」って言い返したいってのもねー
そうやって「仕方ないじゃん！」って雰囲気が出てるんじゃない？
問題が起こってるなら「仕方ないじゃん」とグチグチ言ってそこで止まるより旦那に相談するなり一時保育とか調べた方が良いよ