アパート大家の娘がママ集団リーダー。ツライ

アパートの大家の娘も旦那と子供がいて、アパートに住んでます。
同年代の子供をもつ家庭が８世帯あって、大家の娘がママ集団のリーダーみたいに仕切ってます。

アパートに住む子供達が多いのと、大家が自分の孫のためにとキッズルームを建てました。
アパートの住人なら無料で好きな時に遊んでよいと言われました。
私は大家の娘が苦手だし集団も苦手なので、挨拶程度の付き合いです。
昨日、キッズルームで遊ばせてくださいと大家に言って、30分ほど遊ばせてもらっていたところ、キッズルームの裏から「私たちのキッズルームで何であいつら遊んでんの？遊ばせないでよ。追い出してよ。てか、アパートからも追い出してよ。目障り。」と、娘が大家に詰め寄ってるのが丸聞こえでした。
居づらくて子供を抱えすぐ出たら、
ママ集団で忘年会をしようと思っていたらしく、他のママさんパパさん方がビールやお菓子をかかえて立ってました。
私はこのアパートから出たほうが良いのでしょうか？
精神的にツラくて、子供も可哀想で申し訳なくてわからなくなってきました。
私がガマンしてでもママ集団に入るべきでしょうか？