心身ともに病み性欲が0に。でも旦那が誘ってくる

半年くらい前から調子が悪くなり今は心療内科に通っています。
鬱とは診断されていません。漢方で治療しています。
子どもがいてフルタイムで働いていました。
旦那は子どもの相手をあまりせず、家事も最低限、仕事も多忙になり、いっぱいいっぱいになりました。

夜眠れない、食事がとれない、体がしんどく起き上がれないなどの症状がありそれは旦那も知っています。
こんな状態なので性欲は0です。もともとあまりない方でしたが全くの0になり、なぜか考えるだけでも気分が悪くなります。
でも旦那はしたい思いが強く、夜わたしがやっと寝れたころに触ってきたり
日中も触ってきたりします。
そのたび、身体がしんどいから、ごめん、という感じに断っていました。
しかし最近、旦那が夜眠れないと言い、ムラムラして眠れないんだと言われました。
申し訳ないけど、本当に全くする気になれず、気持ち悪く感じてしまうんです。

旦那も男なのでしたい気持ちはわかるので申し訳なくて、それで余計に落ち込みもします。
こう言う時ってどうすればいいんでしょうか？
無理矢理身を任せた方が良いのでしょうか？