付き合い濃くて離れたいのに離れられない時どうしてますか?

結婚し子どももいますが、産まれ育った町でずっと歳を重ねてます。
他の町で暮らした期間がほぼないのと狭い町なので親・子ども、親戚の顔見知りや友達の顔見知りもよく会います。
年々暮らしにくさを実感してますが家もあるので引っ越す事はしばらくないと思います。

この年末年始で再実感しましたが、疎遠になりたい友人らが数人います。
みんなLINEグループで繋がっています。
退会しようか悩んでるのですが、狭い町ゆえに私の変な噂を立てられても困るのであまり反応せずにずっとLINEグループに属してます。

親同士はちょっとした知り合いだし、子どもも今後学校で学年違えど会う事がありそうです。

このグループでの付き合いがストレスなんですが、親子どもも関係してるし事を荒げない方が無難でしょうか？

田舎故の悩みなので共感出来ない方も多いと思います。
すみませんがアドバイスお願いします。