皆様コメントありがとうございます。

義両親には結婚前から可愛がってもらっていて、娘が産まれるまでは大好きでした。仲良くさせてもらっていたので、差別されるような原因は思い当たりません。

義両親曰く、本当にそんなつもりはないそうです。まったくの無意識みたいなので、一応気はつけるけど…みたいな感じです。
だから本当に悪気はないのかもしれません。

でも悪気はないと言われても、やっぱり娘の寂しそうな顔を見ると腹が立ってしまって…

もともと悪い人達ではない事も分かっているので、モヤモヤする気持ちを抑えて謝罪を受け入れ水に流すべきなのかと悩んでいます。