単身赴任「やりたい放題じゃん！」って夫婦どっちの立場だと思う？

単身赴任していて1ヶ月に一度数日帰って来ます。
旦那が赴任先にいる時は不規則な仕事な事もあり用事がない限り電話しないし、向こうからも電話がかかってくる事はありません。
それを職場の男性社会と話してたら「旦那は子供と喋りたくないの？」と聞かれました。
もう子供達も携帯持っていたり家の電話に出られる年齢なので、旦那は子供と話したくなったら携帯や家電に連絡しているようです。
いつ休みかとか全く分からないのかと聞かれ、用事があって連絡した時以外は分からないと伝えたら
「やりたい放題じゃん！」と笑いながら言われました。
これって旦那がだよな？と私は思ったんですが、一緒に話していた人は妻（私）自身もやりたい放題じゃん！と受け止めていたらしく。
やっぱりそういう印象なんでしょうか？