夫婦の年齢と結婚してからの年が主さんと近いです。
仕事家事育児と大変で余裕ない気持ちはわかります。だけど夫婦である以上は、相手の性の要求を特別な理由もなく断り続けるのは良くないですよね。夫婦の寝室が別なのもレスや離婚した人に多いそうです。
主さんが拒否される事を恐れるように、旦那さんも主さんに拒否されて傷ついたのかもしれませんね。傷ついたら誘うのも恐くなるものです。今なら主さんもその気持ちがわかるのでは？
主さんが反省している気持ちと、これからどうしていきたいか素直な気持ちを旦那さんに伝えてみて、少しづつ改善していくのはどうですか?