ご主人が少し離れたところに待機
声かけられそうなタイミング見て合流
ご主人が怖い顔で挨拶

昔、男性に駅で声かけられて、翌朝から私の分の飲み物まで買って毎日待ち伏せされたことあります。怖いお気持ちわかります。

見守りやめてもいいと思いますが、いきなり会えなくなったときに相手の行動がエスカレートしないよう、ご主人の力を借りて牽制しておきましょう。