どうしたらいい？

５ヶ月の息子がいます。
私は4人兄弟の末っ子です。
地元は少し遠いので年に数回しか帰りません。
両親は他界してます。

息子が生まれた時、姉や兄に報告と写メを送りました。返ってきた返事は、ブサイクだなぁー(笑)。
私と息子の2人で3月に帰省した時も、姉や兄が我が家に来た時も息子を見ては、ブサイクねぇ～。可愛くなぁい(笑)と笑ってます。
私はその度に可愛いよ！そんなん言わないで！と言ってましたがなおりません。
今まではたまたま旦那がいない時に我が家にきたりしてました。なので旦那はこんな風に言われてるのは知りませんでした。
しかし先日、３人で帰省した時…
姉や兄は旦那がいるからかいつもみたいには言ってきたりはしませんでしたが、姉の子が○○君はブサイクだねー。っと…すかさず姉が止めてましたが、子供は正直なので…ママ達はいつも言ってるじゃん！って…
それを聞いた旦那はそこから無口になり、帰宅してから、もう行かないしお前も行くな！家にも来させるな！と。
翌日、姉に電話で謝るように伝えましたが謝る気は更々ないみたいです。
私はどうするのが正解でしょうか？