旦那が事務パートと怪しくて

旦那は義父の会社を引き継いで社長と言う立場になりました。従業員は10人以下で小さな会社です。
義父も引退し義母が経理事務をやっていたので、これからは私に事務をやってほしいと何度も何度も頼まれてたのですが、私は子供が小学生のうちは寂しい思いをさせたくないため断り、旦那は仕方なく事務パートの女性を雇いました。雇って3年くらいになるのですが女の勘でその女と怪しい気がします。
別に不倫するのはいいんですけど、事務パート女に本気になって離婚というのは避けたいです。
本当は事務はやるつもりはありませんでしたが、、事務の女性は辞めてもらい私が引き継ぐと旦那に伝えると「大丈夫、家のことは任せたから会社のことは気にしなくて良い」と言われました。あれほど手伝ってほしいと言ってたのに！？これってやっぱり不倫してますよね？
どう思いますか？