友人の旦那が怖い

友人家族との付き合いで相談させて頂きます。私には８歳、６歳の子供がおり現在シングルマザーです。
友人は８歳、４歳の子供がいて上の子同士が仲良い事もあり友人のご主人含め仲良くしていました。ほぼ毎週末土日は会ってました。その際ご主人は居なくて母と子供達で我が家で集まっていました。しかし最近友人夫婦の行動について疑問が出てきて正直付き合いを減らそうと思ったのと、先月は丁度法事などが重なり中々遊べずにいました。この時点では理由なく断ったりはしてません。ちなみに友人夫婦は子供が人の家のものを壊したり、壁に落書きしても叱りません。なのでそう言った行動に疑問を感じたので深い付き合いは辞めようと思った次第です。
つい先ほども今週の土日は子供の用事や、別のお誘いが元々あり断りましたが、友人とは普通に電話で話したりしていました。しかし夜寝ていたら12時過ぎに友人のご主人から電話があり、子供同士が仲良いのに親の都合で遊ばせないのはおかしいと一方的に怒鳴りつけられました。寝ぼけてたのと突然キレられた事もあり、腹立たしくて電話を切ったら再度電話がありましたが無視してたら長々とメッセージが入り、今後はもう2度と会わないし、2度と話しかけるな、他のママにも連絡しないように言う等と言った内容です。
先週は向こうから家族で外出するから遊べないと言われましたが、家族優先なのは当たり前なので何とも思わなかったです。こちらにも用事や他の友人達との付き合いもありますし、いくら子供同士が仲良くても先約を優先するのは友人のご主人が言うように自分優先でおかしな事でしょうか？子供の事を考えない私がダメなんでしょうか？
友人のご主人に対して怒りもありますが子供を盾にされると私が悪いのかと思ってしまいます。