声色とかによっては失礼に聞こえちゃうかもね
お土産でしょ？もう持ってきてる状態で遠慮する意味なくない？
お伝えするなら、次は絶対手ぶらで来てくださいね！とか、もしくはその場で皆で食べちゃうとか？
とにかく旦那さんの言う通り、持って帰れ、はないかな…