悪気はない、ってのが免罪符になるのは子供のうちだけだよ。
良い年した大人なんだから、ただの無神経だよね。
ご主人も、あなたが怒るって分かっていながら受け取るのもよく分からないな。
夫の親友であってあなたの友達ではないのだから、付き合いをやめさせるのはやりすぎだけど、少なくともあなたに彼らの話をしないとかって旦那が配慮しても良いとは思うよ。