日頃から愚痴ばかり言う上司

会社で社員のデスク周りを移動しながら自分のデスクに着いた途端に社員には関係もなく知らない取引先や他人の悪口ばかり話ている上司の話が耳に入るのが苦痛です。
どうやら自分のストレスを会社で発散しているようなのです。永遠と愚痴や噂話ばかりで聞かされている社員達はもうヘトヘトです。上司に捕まればアウトで、永遠と悪口聞かされます。
他人の事でも聞く事にストレスを感じるので
上司が悪口を言っている時は他の事を考えるようにしていたら「話聞いているのか？何も話さないけどつまらない顔するな」と言われました。
空気が読めない上にまるで上司本人ではなく上司の中では私が嫌な人のように変換されるみいです。対応策教えてください。