不倫した上司、娘さんにゴミ虫のように嫌われている

上司が、過去の不倫のせいで年頃の娘さんにゴミ虫のように嫌われているそうです。
相当参っているのか毎日私と同期に相談してくるのですが、自業自得過ぎて何もアドバイス出来ません。
誠実に向き合って、少しずつ関係回復していくしかないですよと伝えているのですが不服そうで睨んできます。
もう話しかけないで欲しいとやんわり言いたいんですけどどう伝えればいいでしょうか。