ゴシゴシタオル使わないで手洗いの方

入浴時に体をタオルやスポンジ使わないで手洗いの方が肌にはいいと聞いて、泡だてネットで泡だてて手洗いしています。
しかし、最近お風呂上がりに体を拭くとポロポロと消しごむカスみたいな垢？がでます。(汚くてすみません)
手洗いしてると仕方がないのかな？
今、健康ランドで垢すりしたい気持ちMAXです。
同じような方いますか？