41歳夫婦、もう諦めて卒業した方がいい？

結婚して10年、今3ヶ月レスです。
元々性欲を剥き出しにするのが嫌だということで旦那が私を求めてきたことはなく、ただ子供は好きだし欲しいということで妊活の時だけは積極的でした。
あまりにも興味を持たれないことが辛くて何度も喧嘩して話し合いしてきて、なんやかんや細々とギリギリレスにならない程度の頻度を保っていましたが、とうとうなくなりそうです。
今回の原因は明確でお互いが多忙なためです。私は夜勤専属で週4〜5パートに出ており、旦那も副業のために夜子供を寝かしつけたあと作業をしていて常に寝不足。全く時間が合わせられないわけではないですが、仮に私が直球で切り込んだとしても旦那が寝不足で疲れてると断るには十分すぎるほどの状況です。

前は30代だったし虚しくて惨めで仕方なかったのですが、今は諦めの気持ちが半分くらいまで迫っています。本音を言うとそこまでしなくてもせめて触れ合う時間を作るとか、たった1度でいいから旦那から求めてくれるようなことがあったらよかったのにとは思いますが、もう歳も歳だし卒業した方がいいのかなとも思ってます。

完全に諦めて夫婦生活卒業した方が健全でしょうか？文章へたくそですみません。