オブラートに包んだ言い方だと通じない人にはハッキリ言っていい？

ママ友に週末何するか聞かれて、あるイベントに行くって話をしたら一緒に行きたいって言われた。「旦那も一緒に行くし、旦那は人見知りだし知らない人と行くの苦手なんだよね」ってやんわり断った。でもママ友は「私は気にしないし大丈夫だよー」って。そういう人には「家族で行きたいから、今回は一緒に行けない、ごめんね。」ってハッキリ言ってもいいのかな？
同じ人なんだけど、私が子供の習い事が同じママとファミレスでランチしてる時に、ママ友がひとりでお店に入ってきた。私がランチしてる人たちはママ友にとっては全然知らない人。それなのにママ友は「こんにちはー。偶然だね。1人でランチしようと思ったんだけど、せっかくだからご一緒させてー」って言ってきた。 その時は運良くそろそろお開きにしようって言ってたところだから解散したんだけど、そういう時も「今日は習い事のママたちとのランチだからごめんね」ってハッキリお断りしてもいい？
角が立たないようにしたいけど、やんわり言うと理解してくれない人って鈍いのかな？だから少しくらいキツい言い方でも気にしないかな。