連帯保証人について

色々調べてみたもののよくわからず不安ばかりです。詳しい方、どうか力を貸してください。

義両親が土地の税金対策とのことで数年前にアパートを建てました。ダイワハウスだったと思います。義祖父が亡くなり保証人を旦那に変えたいとのことで、旦那も言われるがまま保証人になってしまいました。

将来的に利益があるかもしれないからと説明されたようです。その他、義両親が住む義実家も同じくらいのタイミングで新築されておりそのローンの保証人にもなっています。

わたしたち家族は義実家のある市には帰るつもりはなく、マンションを購入予定です。保証人になっているのにローンが組めるのか…そしてアパートの保証人、今すぐやめたいのですが旦那も「でも俺が保証人やめたら保証人になってくれる人いないし…」と。

今後もしかしたらわたしたちがお金で苦労するのではないか、子どもに影響するのではないかと不安です。我慢するしかないのでしょうか…