旦那に実家に帰れといってしまった

結婚して14年。義理の母親と、義理の母親の姉が近くに住んでいます。
関係は良好で子供二人中学生と小学生はおばあちゃん大好き。義理の伯母は旦那の給料が少ないので家を貸してもらってます。叔母はお金持ち。結婚せず株主で、お金に困ってません。
ただ老後が不安なので、安く家を貸すかわりに老後の面倒は見て欲しいとのことで家を借りて近くにすんでます

旦那ですが、現在40代実家住まいのまま結婚したので家事も何もしません。
昔で言う亭主関白です。
結婚当初は色々お願いしてみたのですが結局家事も育児も掃除洗濯全てやりません。
もうこちらも馴れてしまって諦めてしまったのでそこはまーまー慣れました。

休みの日は殆ど寝てます。起こさなければ15時ぐらいまで寝ています。

学校行事ぐらい出て子供の成長を見て欲しいのですが。上の子が今中学一年生で、小学生の卒業時も入学式も来ませんでした。
思い出せば昨年の運動会でも私の親が遠くから小学生最後の運動会だからと見に来てくれたんですが、その時さえ寝坊し、何度も起こして起きなかったので私は先に学校へ、向かいました。そのあと何度も携帯へ電話しても出ず来たのは子供の出番が終わってから。
そしてこの前の日曜日コーラス大会があり卒業時も入学式も来てないから来て欲しいと息子から旦那に話があったので
当日何回も起こしてまた、起きませんでした。
観客席で息子と目があった時落胆した顔をしていました。
もう我慢の限界なので、
その日の夜に実家へ帰れといったのです。私が実家に帰ってしまったら子供達の生活も困るだろうしパパが実家に帰って子供が会いたい時にそこへ行けば良いでしょ？と。
家の持ち主である叔母へは頭を下げにいくつもりであること。
籍はどっちでも構わない。私は離婚となっても再婚はするつもりもないので別居でも構わないこと。
お金さえ入れてくれれば良いわと。
友達にその事を相談したらそんな簡単なことでと驚かれたのですが、
簡単な理由ですか？
私は簡単な理由には当たらないと思うのですが。
ご意見を下さい