弟がダウン症。兄弟似てるねって言われたら嫌？

この間息子の学校に行った時の事です。
息子(小3)の友達の女の子が、うちの下の子(二歳)を見て「わ～！大きくなってきたね。○○くん(←うちの上の子)によく似てる～。私は弟と似てないんだけどねー」と言ったので、私が「○○ちゃんも□□くん(←その子の弟)と似てる所あると思うよ～、やっぱり姉弟だからね。」と言いました。

すると、眉間にシワを寄せたよな表情をして無言になりました。
その女の子の弟はダウン症です。
失礼な事を言ってしまったかと後悔したのですがやっぱり言われたくなかったですよね。。