電話帳に載ってた人が友達に入ってるでしょ？

友達のところの人の電話番号を削除しても、友達のところにその人のアイコンがまだあるんだけど、それを消すことはできないのだしょうか？
LINEもしてないし、これからも連絡することはないので消したいのですが…