してないのに

職場の60代の男性社員(よく喋るデリカシーが欠けてるかんじ)が、いきなりみんなの前で
「お前！煙草車からポイ捨てすなよ！笑　山火事なるでー」と言われました。

主はポイ捨てどころか煙草を吸ってません。先日、その人が帰るときに前に私と同じ車種で同じ色の車に乗った人が窓から煙草をポイ捨てしたようです。
それを私だと思っていたらしく、悪気もない感じで大きな声でみんなの前で言われました。
してないと言いましたが、周りからするとしたことを隠そうとしてるようにしか見えないとおもいます。
一人一人に弁解する訳にもいかないし、もやもやする。