職場で暴れそう

おばさんが多い職場（40代～）で、好き放題陰で言われてて、誤解も多いのですが、言われすぎて暴れそうです。

学生の時人間関係が悪くて、男の子が「俺このままだったらクラスで暴れる」と言っていたのですが、自分職場で暴れたい。

噂が噂を呼び、誤解が誤解を呼び、
真実を確かめもせずに
憶測で陰で馬鹿にして
それ聞こえるし、ネチネチ言う。

いつのまにか陰でいじられキャラになってる感じ。
で挙句の果てにどんなに真面目に働いてても、
おばさんが話を盛ったり捏造レベルで
裏でぐちるのでまっとうに働いてるのに、
まるで毎回不器用で要領悪くて
頭のおかしい人みたいな
印象をつけられてます。

どうしたらいいのでしょうか。

1人ずつ、顔にこぶしを当てたいくらい。
真面目に働いてれば本来は好かれるはず。
報われない。