旦那拒否のレスがつらい

旦那35歳、私32歳、子ども4歳
2年くらい旦那拒否のレスです。
元々かなり淡白な人だったけど、今はもう本当に性欲がないみたいで私から誘っても拒否されます。
旦那は在宅でずっと家にいるのとそもそもあまり女性に興味がない感じで不倫とかの可能性はないです。

私は普通に性欲もあるしたまにはしたいなって思って勇気を出して何度か誘ったりしました。
でも毎回「ごめん、したいって気持ちがどうしてもなくて、難しい、、」と言われます。
昨日もそうで、話し合ってたけど途中で私が泣けてきて「じゃあ私が女性用風俗利用したりとか、他で彼氏作ったりしてもいいの？」って勢いで聞いてしまいました。
そしたら旦那がしばらく考え込んだあと
「嫌だけど、俺が出来ないからそうするしかないよね、ごめん」と。
「え、じゃあいいってこと？」って聞くと
「うん、したいならいいよ。悲しいけど、俺がそこで止める権利ないしずっと我慢させてるから」と言われました。

他で彼氏作るは不倫になるし本当はかんがえてません。
でも割り切った女性用風俗は考えようかなとか思ってしまってます。
この感じだともう旦那とはずっと出来なさそうなので…。
あなたが私の立場ならどうしますか？

ちなみに普通にレス以外では優しい旦那のこと好きだし穏やかに暮らせてるので離婚は考えていません。