どうだろうね。勉強が出来るとか運動が出来るとかそういうのなら自慢だろうけど、大きいって別に必ずしも良い事ではないし自慢のつもりで言ってるわけじゃないのかもよ。単なる雑談と言うか。それを小柄な子のお母さんの前で言うのはデリカシー無いかも知れないけど。
個人的にはそんな気にならないかも。