会場費がかかるとも思っていないような人がいるなら、駐車場や後片付けなんかの問題も主に押し付けそう。
きちんと「駐車場は空いてないから徒歩か自転車集合、ゴミは各品目ごとに持ち帰り、費用は飲食・会場代含め頭割り」などルールを決めてやれないなら後々トラブルのもとになると思う。

まぁ主がやりたくないって思ってるのはヒシヒシと伝わるから断っていいんじゃない？