ネット通販サイトの退会ができない！？

先日ネット通販サイトで購入し使用することがないため解約(退会)をしようとしたところ、
そのようなページが無く、問い合わせをしました。氏名、住所、連絡先、クレジットカードの登録をしていますが、
回答は「会員情報の削除はできない」でした。

理由として、
お問い合わせいただきました会員情報の削除につきまして、誠に申し訳ございませんが、経理上の資料としてお客様の情報を完全に削除することは致しかます。
ご理解のほどお願い申し上げます。
今後、◯◯様の顧客情報は弊社で大切に保管させていただき、
こちらからご連絡は一切いたしませんので、ご安心くださいませ。

と返信がありました。いままでこの様な経験が無く戸惑っています。
個人情報を抹消してもらえないというのはよくあることなのでしょうか？ご教示いただけると幸いです。