離婚を迷ってる場合じゃないのかな…

結婚５年目の子供が３歳半と１歳です。
うちの上の子は本当に手のかかる子（知能の高い自閉傾向で様子見ですが限りなくﾎﾞｰﾀﾞｰﾗｲﾝに近き程度）で育児は私的にも困難を感じることがよく有ります。
旦那は子供に対する言動が大人に対するような言動で周りからも、怖いと言われます。今日とうとう恐れていたことが…私が子供と３人で遊んでいて旦那はご飯を食べていました。上の子が下の子にﾎﾞｰﾙを渡さなかった事で見てて腹が立ったのか立ち上がり上の子の太股を蹴りました…
大泣きをし太股には直後には足の後が有り小さな痣も出来てました。
私は今までずっと離婚を考えてましたが、子供もﾊﾟﾊﾟが大嫌いなわけではないし、たまに遊んでくれるしﾄｶ色々考えて踏み切れませんでした…
旦那の悪いところは他にも山ほど有ります。しかもすべて周りのひとから見れば頭おかしいんじゃないか？って事です。
旦那に今日のことで文句を言ったら「たまたま痣になっただけ」とか「別におかしくない」とか言いました。
これは虐待ですよね？
やはり即離婚を考えた方が子供のためですよね？

私も普段手のかかる上の子には厳しく叱ります。（診断は降りていないし限りなく白に近いとのことで厳しくしています）
命に関わる危ない行動も頻繁にあるので感情的に怒ることだって毎日…だから余計に両親ともに怖い存在なんて可哀想に思えてきて…