決定権はママ友側にある。
引っ越し以前だの以後だの、ああ言われたから、子供が行きたがってる、外遊びは嫌、そんなの全部どうでもよくて関係ないでしょ。
いま現在「下の子を連れてこなければOK」がファイナルアンサーなんだから守れなければ行かない。これ一択。

こちらがどうこう悩んても理屈こねてもどうにもならない。
というか、主さん自分に都合よく話を解釈しすぎ。
こんなだとそのうちひとりもママ友いなくなるよ？