4万円って食費代にもならなくないですか？
家計簿つけて月の支出を旦那に見せて相談した方がいいと思います。
ウチでは夫婦の収入は全てひとつにまとめて全ての出費を出してからお互いの小遣い、月の貯金を話し合って決めています。ちなみにこのルールは夫が決めてくれました。
主さんの旦那さんは家計に無頓着みたいですので、現状を説明して話し合った方がいいと思います。