悪い事でも犯罪でも何でもない。ただ、平気な人とそうでない人がいるだけ。

おそらく旦那さんはそれが嫌なタイプの人なのに、
「何が悪いの？悪気ないよ！私悪くないよね？」
って自分の事ばっかりで、旦那さんの気持ちを全く考えないのが良くないのかと。