特に気が合うわけでもなかったからこそ疎遠気味になったんでしょ？だったら特に謝らなくても。向こうが話しかけてきたら「あの時気づいたんだけど、友達一緒でタイミング逃したの。ごめんねー」で良いんじゃないかな？
向こうが話しかけてこないんだったら、結局それくらいの関係性ってことでは。