それセクハラにあたるよ。旦那が上司でその人の方が立場が弱いなら微妙だけど、旦那の会社にハラスメント窓口があるなら相談してみても良いと思う。もしくは「これ以上プライベートで関わろうとしてくるならそういう窓口への相談も考えている」と相手に伝えるだけでも効果あるかもね。ハラスメント窓口がないなら人事か総務に相談かな。