離婚を考えるのは贅沢？

結婚して10数年になります。
貧乏デキ婚からのスタートで、貧乏を脱却すべく旦那が数年前に起業。
それなりに事業がうまくいき、生活は安定したけれど、付き合いや接待で旦那は常に不在、飲み屋にも行くようになり、連休は常に泊まりで遠方ゴルフ、と私達への態度は貧乏時代と変わらずとも生活は一変。
私も役員、経理職で交際費やお金の流れ、付き合いの相手云々はそれなりにわかるものの、実際そんなところは領収書をもらえばどうとでもなるし、と、それさえも疑ってしまい、不安からの妄想が耐えない日々。

疑う私も、疑われる旦那も一緒にいて辛くなる毎日。先行き不安な世の中、仕事に集中させてあげたいのにジャマにしかならず…。
こんな流れで離婚するのはおかしいですか？
ちなみに私は心療内科には通ってますが、妄想と不安は一向によくなりません。