自営業、白色申告の方教えて

自営業になり、5年目です。毎年所得税が8万から10万円ぐらいでした。
去年は所得税が15万になり、国保や市民税、個人事業税など、倍近くになりものすごく大変でした…。
今年は、年収が100万円減り、私が専従者として控除を受ける、経費が去年より多いなどで
所得税4万円になるみたいです。
あまりにも減ると税務署から目をつけられると聞きました。
年収など誤魔化してはいないようです。旦那に言っても大丈夫大丈夫！だそうです。
このぐらい普通の事なのでしょうか？