出産入院中、上の子はどこに？

２人目妊娠中で冬に出産予定です。私が入院している間、上の子（2歳)は私の実家で見てもらうことになっています。産院からも近いですし、私の母も専業主婦なので時間の融通はわりときくと思います。
しかし昨日主人と話していて「出産入院中上の子を俺の実家に預けたい。親にはまだ聞いてないけど。こういう時くらいしか長くいられないし。」と言われました。義理のご両親はとてもいい方で大好きなのですが、正直少し大ざっぱなところ（危険なものの管理や食事など)があり心配です。
義母もよく家をあける人なのであまり家にはいないです。
まだ義理のご両親に聞いていないので、どうなるのかは分かりませんが、私の考え方は冷たいでしょうか？皆様のご意見をお聞かせください。