実家に毎晩よるのは普通？

徒歩5分圏内に義実家があり、毎晩夫は仕事帰りによって1時間ほど世間話をして帰宅しています。
直帰しても子供は寝ているので手伝える育児はないのですが、私としては毎晩よるのは多すぎだとと思うので、できればまっすぐ帰る日を増やしてその分早く寝て朝に子供達と遊んだり（子供が起きてから30分ほど後に夫は起床）、私とコミニュケーションをとる時間にして欲しいと思うのはワガママでしょうか…。
特に私は夫以外大人と話せる機会もあまりないので、子供の話やたわいのない世間話もしたいのですが、夫の帰宅を待ってからでは夜泣き対応もあるので夜は待ってられず、朝も支度や子供達のお世話で時間がとれず、最近孤独を感じています。
仕事終わりの時間を指摘する配偶者は良くないと思いますか？？
ちなみに子供は0歳と2歳、私は育休中で来春復職する予定です。