えっと普通に相手に「明日から○分までに来なかったら先に行くねー」
って言って実際そうすればいいじゃん。
別に悪いことしてないし、来なかったらピンポンも押さなくていいでしょ。
其の後友達が主宅にピンポン押しに来たら「ごめんね、先に行っちゃったよー。」っていえばいいんじゃないの？