旦那の言う事がチグハグ

旦那23歳、私22歳です。

この前旦那に
｢お前は子供ばかり見てるから寂しい｣と言われました。
私は毎日夜２人で話す時間を作ったりＨも週１～２位あるので私的に頑張っていたつもりです。
けど何とか旦那の不満を解消したくてメールで
｢今度少しの時間でいいから子なしで２人だけで出掛けたい｣と送りました。
結婚して五年目ですが今まで２人だけで出掛けるなんて片手で数えられる位だったので勇気を出して誘ったのに断られました。泣

旦那の不満を解消する為に私はどうしたらいいか皆さん相談に乗ってください。
お願いします。