私の心が狭い？

旦那は基本は優しいのですが、たまにうん？と思うことがあります。
日曜日に出かける予定があったのですが、前日にデータ回線系の営業が自宅訪問してきました。
別の回線とすでに契約しているので、我が家では必要なく断る一択なのですが、何故か旦那は今の料金と見直して明日返事すると言っていました。
契約するのかと思ったら、ちゃんと断る為に明日来てもらうとのこと。
断る前提で次の日に再訪の約束をしていました。
次の日は家族で出かける予定があったのに、
午後13時に来るから私と娘の二人で出かけてくれと言われました。
良く言えば、どんな相手に対して丁寧な対応をしますが、その裏で家族が我慢しています。
娘は、パパなんで一緒じゃないの？と悲しそう。
その事について話そうとすると、すぐに不機嫌になって話すところではなくなります。
はいはい、俺の対応が悪いんだな、と言われます。
普段は優しく家事育児も積極的なので感謝していますが、こういうときどうすればいいのかわかりません。