内容によるでしょう。
期限のある内容ならそれはNGだろうし、急ぎの内容でもないなら謝罪は不要だと思うけど。
世間話しやそれの延長なら、返事そのものがいらない場合もあると思うよ。
その内容がランチやお茶系(ただ集まっておしゃべりしたいだけの場合)だったとしても、返信が遅いなら、その人抜きで話しを進めてもいいと思う。