エレベーターの順番待ちで

先日の休日の話なんだけど、小学生から2歳児までの子供4人を連れて買い物に出ました。
仕事が終わった旦那と合流することになって、子供用のカートも使っていたからエレベーターを待って降りようとしたんだけど、
・下ボタンを押した時点で待ってたのは私たちだけ
・その後車椅子のおばあちゃんとその娘さん？と思われる介助の方2人組がきて
・さらにベビーカーを押したママさんもきた

この3組で待ってたら先に上の階からも人が乗ってたからエレベーターのスペースが中途半端で、全員は乗れなかった。
ひとまずボタンに一番近いのが私だったから車椅子の方々に先に乗ってもらって、一番最初に並んでたのはうちだったからそのまま乗ろうとしたら、後からきたママさんに「人数多いくせに図々しい！普通そこは譲るでしょ、何考えてんの？」と罵られた。
子供たちも乗り込んでるし、なんかこんな言われ方して譲るのも癪だったから「先に並んでたので…」とだけ言って会釈して乗り込んだんだけど、下の階で旦那と待ち合わせのために待ってたらそのママさんとまた鉢合わせて、向こうも今度はママ友っぽい人と一緒にいてこっちに気づいたら「いやー、マジで子沢山とか非常識だよねー」「田舎者だからルール知らないんじゃない？」と、こっち見ながら明らかに私のことで言いたい放題言ってくる始末。
ボタン押ししてたら、もしくは人数が多かったら先にエレベーター乗るのは遠慮しなきゃダメですか？