副業の勤務について

我が家は私、夫、長男（年中）、次男（4ヶ月）の4人家族です。
先日、副業の勤務先で私の昇給・昇格が決まり今まで以上に仕事頑張ろうと思っています。
副業は主に週末ですが時々平日の勤務も発生するので基本3〜12回／月、早朝〜夕方まで勤務しています。
夫もある程度理解しているのですが、週末の早朝は渋々子供たちの世話をしているようです。
だけど、平日の早朝は自分の仕事もあるから配慮して欲しいそうです。
私は制度等も含めて検討した結果、ファミサポとかベビーシッター等を利用したら大丈夫じゃないかと思ったのですが、それも気に喰わないみたいです。
我が家の経済的には副業の収入は必須なので私も本業と副業の両方で仕事しないといけないのですが、平日の副業は辞めるべきなんでしょうか。