団地住まいが悪い訳じゃないけど、決して裕福なわけではないと思うので、ちょっと広いお家に憧れやコンプレックスはあったかもしれないですね。だから、狭いというのと、とても自分ちには呼べないという卑下する気持ちもあったのかも。堂々と呼べる素敵なお家に住んでる人はいいなぁーなんて単純に思っていて、招く方の負担なんて気づきもしなかったのかもよ？そういう意味では悪気がなかったとも言えるかも。
まぁ、どちらにしても、距離を置いた方がいいかもね。ただ何らかの反撃をしてきそうだし、その人のお子さんには罪はないだろうし、その辺はご自分のお子さんにフォローはしておいた方がいいかもしれないですよ。