自営業は共働きには入らない？

自営業の旦那の手伝いをまかされています。
元々他の方を雇っていたのですが大病になり私が引き継ぎました。
仕事をする中でよく旦那に「おい！これポストにだしとけよ！」「俺は忙しいんだからお前が言われなくてもやっとけ」と怒鳴られる事が度々あります。
元はと言えば自分が独身の頃、見栄っ張りなので収入は計画無しに全て使い、結婚後わたしが経理を手伝う事で貯金がほとんど無い事が判明しました。
なんとか飲みに行くのを減らしてもらい貯金は溜まってきましたがそれでも一年に1、2度は機械のトラブルで1ヶ月や2ヶ月休み、その間はバイトなど他の仕事もしようとすればできるのに「貯金はないのか？おれが死ぬ気で働いてたのだから休みを補うくらいの貯金はあるはずだろう？」と。
なので私が2人目が赤ちゃんの頃から他でパートもしています。
旦那はそれも気に入らないらしく「俺に育児を丸投げしやがって」と言い飲みに行ったり、友人と遊ぶ元気はあるくせに子供の面倒は見るのを嫌がったりしてパートもなかなか長時間働けなくて短い時間をちょこちょこ働いています。
義母にも度々チクチク言われ、旦那に説教するな！や飲みにくらい行かせてやれ！（言われなくても勝手に行っていますが）と昔の良き妻！の理想論のような事を言われ頭がおかしくなりそうです。
子供は凄く可愛いのに時々あまりに忙しい毎日で消えてしまいたくなります。
旦那さんが自営業をしている方から見て私が悪いのでしょうか？
厳しくしたいわけではないけどお金にだらしないので一生懸命働いてるのはわかりますが、飲みに行ったりされると腹が立ちます。
勿論、行くな！とはいいませんが内心面白くないと思ってしまいます。
先が不安です。