義両親に感謝しないといけない？

義両親に色々してもらってるんだから感謝してと言われました。
二世帯住宅で同居です。
私は頼んでません。
夫が勝手に頼んで子供達を夕飯に連れて行ってもらったりしてます。
上の子の習い事の送迎でいない時間に義母がいれば私が作った物を義両親世帯で食べさせてもらったりしますが、私が頼んだわけではなく、一緒に住んでるんだから頼ればいいと言われてそうなってます。
もちろん、ありがとうございますと言いに行きますし、差し入れで手土産を持っていったりもしてます。
ですが、夫がいない時に一緒に夕飯を食べてほしいと言われ気が進まないと答えたら、いつも色々してもらっているのに感謝の気持ちはないのか？それならもう何もしてもらうなよ、と言われました。
ちなみに夫はうちの両親とはあまり関わり合いを持ちたがらないので会う機会は少ないです。
ですが、私は夫に対して何も言わないし、うちの両親も何も言いません。
私の感情は非情でしょうか？
モヤモヤしてしまい…どう思いますか？