旦那が都合の良い時だけ子供の面倒を見たがるし、私を悪者にしてくる

すみません…旦那の愚痴です。
3歳の子がいる共働きの家庭です。
夫は出張が多く月の半分以上不在になることが度々あり出張が無くとも土日は一人の時間を取ったり仕事をしたいと言われるため、私の方も月2回程数時間託児所に預けてリフレッシュしたりその間にまとめて家事をするようにしていました。子供の方も同年代の友達ができたり違うおもちゃで遊べて楽しそうにしているのでまあいいか…と思いながら定期的に通っていました。
ですがここ最近は比較的土日に余裕があったらしく、先日、日曜にパチンコを打ちたいので託児所に預ける土曜は自分が子供の世話をすると言い出しました。本人の中では土曜託児所に預けている間一人になる時間をとり日曜はパチンコを打ちたいという希望があったようで、どうしてもそうしたいというので私も「普段仕事大変だし良いよ」と承諾しました。
そして今週も託児所に預ける土曜に子供の面倒を見たいと言っていたのでその通りに代わりました。ですが今朝になり急に「子供と二人の時間を取りたいから託児所はキャンセルする」と言い出しました。いくらなんでも急過ぎるし託児所もこんなタイミングで体調不良以外の理由でキャンセルされても困るだろうと言うと
「俺に好きな時に家族と過ごす権利はないわけ？」
と不貞腐れてしまいました。子供と過ごしたいなら託児所の予定が無い日曜にしたら？と言ったらそれは嫌だと断られました。パチンコには行きたいそうです。
「託児所に迷惑がかかるのは承知してるし俺が普段いないから利用してるのはわかるけど今月俺に余裕があることは把握して欲しかった。社会的に正しいことと個人の希望は違う」などと言われ、そちらの言い分にも一理あるけど子供と過ごしたいと言うのならせめて週初めに伝えて欲しかったと私が言うと渋々納得してくれました。ですが去り際に一言
「ああ！寂しいなぁ〜！」
と当てつけのように言ってきました。
家族で過ごしたいと望む俺が正しいのにと言わんばかりの態度で、腹が立っています。かといって私が爆発するとそれっぽい理屈を並べ立て「話が通じないからもういい」と話を放棄してしまいます。
子供にはよくしてくれますが、自分の都合の良い時だけ他を振り回してでも「やってやる」という夫の態度には辟易としています