猫が1日留守番って可哀想ですか。

現在猫を2匹飼っています。2歳と1歳の猫です。
今は私のパートが半日なので、留守番は4時間か5時間くらい。
ですが、近々離婚をします。そうなると私も1日仕事に行くことになるので、朝から夕方までお留守番になってしまう。
旦那は旦那実家に戻ると思うので、旦那母がほとんど家にいます。猫にとっては留守番の時間が極力少ない方がいいでしょうか。