主さんは車での遠出を断りたいんだよね？
だったら兄弟（学生時代の友達）がママ友乗せているときに事故して大変だった（申し訳なかった）と聞いて遠出の運転は怖くなったと伝えれば？
「元々運転に自信があるわけではなかったしゴメンね」と言えば角もたたないのでは？