何で舌打ちすると周囲の人が嫌な思いするの？

私のことが気に食わないのか感じの悪い態度取ってきた奴に舌打ちしてわざとデカい音立てて椅子に座ったらなんか周囲の人の顔が引きつってた
「いやいや今のやり取り見てたでしょ？」
「どちらが先に種撒いたのかわかるでしょ？」
「何をあいつの肩持とうとしてるの？」
「自分と仲良いほうの味方しようとしてんの？」
って感じでイライラしてしまうんですが・・