扶養内パートって将来老後破綻するって本当なの？

我が家は夫が頑張って働いてくれているから無理のない範囲で扶養内パート行っています
月のパート代は5万から６万くらいです
知り合いから聞いたんだけど扶養内パートは将来の年金が少ないから夫が亡くなったら老後破綻するって。本当なのかな？
今のところ生活には困ってないんだけど扶養内パートって将来ヤバいの？
子供は二人です。
扶養内パートで家事や子育てに支障がない程度に働いていてお金には困ってはいません。
それに扶養を抜けるって大変ですよね？
夫や子供たちにめいわくは掛けられないし
私だけの判断では決められませんし。
やはり夫の許しがないと。