義兄弟が帰省しないのは私のせい？

私と旦那は２年前に結婚し現在は義実家から車で５分ほどの所に住んでいます。
旦那は三兄弟の長男で、私たちが結婚する前に既に次男、三男は結婚していました。
１番最初に結婚した次男家族は転勤族と言う事もあり現在他県に住んでいます。それでも子供を連れてお盆とお正月の年2回は毎年帰省していたみたいです。
5年ほど前の結婚した三男家族は同じ県内ですが少し離れていて車で1時間ほどの所に住んでいますが、三男家族もお盆やお正月には帰省していました。
しかし旦那が私と結婚してから次男家族も三男家族もお盆もお正月も帰省しなくなりました。
その事で義母が「あなたが嫁に来てから急に来なくなった」と言ってきました。
正直、次男家族や三男家族とは家が離れている為、滅多に会ったり連絡は取らないです。今年のお盆も帰省しないと連絡があったらしく、先ほど旦那が次男に電話で聞いたら、どうやら子供の部活がある事と夏期講習など習い事の予定があるので(実際、部活がハードと言う事は義母からも聞いていました)帰省は厳しいと言っていました。
三男にも電話をしたらしいのですが、次男家族が来ないなら仕事もあるし(お盆休みとか無い会社なので。けど予め言えば休みは取れるらしいけど)帰省しないと言っているみたいです。(三男嫁は次男嫁が大好きと言うか姉のように慕っているので)
次男家族も三男家族も言い分は解りますが、帰省しないのを私のせいにされるので困っています。
私たちが結婚したから帰省しないんじゃなくて、たまたま次男家族の子供が中学とかに入って忙しくなったからなのに。
また義母に言われたらなんて言えばいいですか？私が悪者みたいでなんか嫌です。