離婚後息子と実家に帰りました。

3年前離婚し、すぐ当時5歳の双子の息子と私の実家に帰りそのまま住んでいます。両親は現役で働いています。
3年前は無職だったので、父親の扶養に入り、2年前からパートに出ていますが、扶養内の収入に抑えているので、今もずっと父親の扶養に入ったままです。月の収入は5～9万円ほど、養育費は月4万円です。他の手当ては頂いていません。
最近ママ友になんで扶養内？もっと働かないの？双子いるんでしょ？お金かかるよ。と言われ落ち込んでいます。
まだ息子達が小さいので、正社員で働くつもりもなくいずれは再婚もしたいのです。
扶養内に入っているのはおかしいですか？
生活費は両親に半分は出してもらっている立場ですが、ママ友に言われた事が気になっています。