職場の人が休みの日に家まで来る

職場の人が休みの日に連絡なしに突然家に来て
正直ウザイです。困ってます。
その人に1年くらい仕事教えてました。
それを世話になったからと半年前から　
休みの日に連絡なしに家に野菜など持ってくるようになりました。わざわざ買った野菜とか毎月なので余計に負担です。
家の場所も雑談で○○の近くと言うのを覚えていたらしく車が停まっていたので分かってしまったみたいです。
今は別な部門の仕事なので関わりないです。
仕事で教えたり手伝ったり、当たり前だし
休みの日に連絡なしに突然家に来られるのが
嫌です。すごく負担です。
居留守使ってましたが限界なので
遠慮してもらうよう言うのひどいですか？