田舎住みです。旦那が私にたまには飲みに行きなよと言うけれど

旦那は私の送迎で飲みに行きます。年間に5回ぐらい。迎えは0時から1時頃。
過去に私も飲みに行きたいと言った時、「9時には解散してもらわないと、送迎は無理だよ」と言われ、それ以後、飲み会はお断りするのみです。10年以上、飲み会には参加していません。子どもがいる女性が、仕事後に飲みに行くとなると19時スタートが大半。21時に帰るだなんて、場もしらけるし、周りも気をつかってしまうから。

それなのに、今日もまた、俺送迎するから、たまには飲みに行ったら？と言われました。
何度説明しても、そこはスルーです。

つまらない事だけれど、なんか離婚がよぎってしまうようになっているんだよね。
こんな気持ち、わかる人います？