疎遠にするとかではなく、主は普通にしていればいいのでは？
「あなたと話したくない。」と意志表示してる相手にわざわざ絡む必要もないし、今後どうなるかわからないのに「疎遠にする！」って決める必要もない。
なるようになるから、自然にまかせればいいと思う。