義父に実祖父母をあいつら呼ばわりされた 初節句

義親と二世帯同居してます。
上の子の初節句の時に(4年前)実母、実祖父母を招待しました。その後日に義父が義弟(旦那妹の旦那さん)に酒の席で初節句の話をしていて実祖父母のことを｢あいつら｣と言っているのを聞いてしまい、今年下の子の初節句に実祖父母を呼ぶのをためらっています。
義親とは当時こそ顔も合わしたくないくらいでしたが、元々悪い方達ではないので今では近所でも珍しいくらいにうまくいっています。
ただ義父が元々人を見下したような、自分が１番正しい!みたいな所があり義母の実両親とかも小パカにしたように話す時があり、実祖父母も同じように言われるのが許せません。
息子の時も主人に言いましたが、主人は機嫌を悪くして結局ちゃんと解決しないままに今まできました。
そして今回も実祖父母を招待するように義親に言われているのですが、やはり私としては根に持つ性格もありなかなか乗り気ではなく、せめて義父に主人からそういう事を言うなと注意してほしいのですが。主人ははっきり義親には実祖父母は来ないって言えばいいと返されてしまい話が噛み合いません。
私としては招待したいし、実祖父母は初節句に来たいと思います。ただ義父の後々の失礼な言い方(ほぼ確実に言うと思います)に対して主人に最初から注意してほしいのですが…。
私が間違ってるでしょうか。
第三者の意見を聞きたいです。