食べるのが早いって、そんなに嫌な事？

昨日、義家族と集まって義実家で大人数で食事をしていた時の事ですが、10分ちょっとで誰よりも早く私一人が食べ終わって「ごちそうさまでした」と箸を置いて食器を下げに行ったら、義父に「まだ周りが食べてるでしょう。もう少し周りのペースに合わせて食べるスピードを考えないと。」と嗜められました。
旦那は私を庇うように、「めちゃくちゃ遅い人もいるんだから、そんなに合わせてらんないでしょ。迷惑掛けてる訳でもないんだしいいじゃん、自分のペースで。」と言ってくれましたが、義父は「悪気が無いのは分かってるけど、急いでる訳でもないのに、久し振りにみんな集まってるところで、目の前でパパッと食べて席を立たれると、普通の人なら嫌な気持ちになるよ。」と言い、私の行動に問題があると言い張りました。
義母は「もういいから。残さず食べてくれてるんだから余計な事は言わないで。」と義父を止めてくれてましたが、横で見ていた義兄は冗談っぽく、「居心地悪いから、さっさと食べて席を外したかったんじゃない？」など言ってました。

皆さんは、人より早く食べ終える事についてどう思いますか？私は元々少食で早食いなんですが、いつまでもダラダラ食べる人の方が迷惑だと思います。
今回私ばかりがあんな言われ方をされて、正直かなり腹が立っています。皆さんの率直な意見をお聞かせください。