ストーカーみたいで気持ち悪いと言われた

離婚をして住んでいた街を離れることにしたので、仕事も辞めました。
結婚していた時に、働いていた職場の人が連絡くれないから、会いに来たらその人は用事があって休みだったみたいで対応した人から
「わざわざ30分かけて会いに来てストーカーみたいで、気持ち悪いし怖いよ。離婚したあなたが悪いのだから、いい加減執着しないで新しい生活に慣れて新しい人間関係を築きなよ。辛いことや嫌なことがあってもやめたあなたは関係ないんだから」
って。別にストーカーするつもりもないし