無料のアドレス移せるアプリ入れてアドレス帳を全部そっちに移してアドレス帳を全部消す、LINE入れてアドレス同期を拒否したのを確認してから、
そのアプリからアドレス帳を戻す。
めんどくさいけどアドレス帳が空だから最初の設定で同期になってしまっても大丈夫。