上の子連れて里帰り出産すると実父がイライラしてくる

そんな実家もってる人いません？けっして孫が嫌いなわけではないんだろうと思うけど、孫がガヤガヤうるさかったりでたった数日で父がイライラしてくるんですよね。口調とかでわかるというか。母が孫に手を焼いてると余計にイライラしてて、風呂上がりなど「おい！俺の下着はやく出せ！」とか母に言って。母が言うには、孫に手がかかると父が張り合ってくるみたい。
今回三人目出産で、旦那も仕事で帰りが遅いし、上のまだ小さい子ども二人と新生児との生活で大変なので助産師さんからはしばらくは里帰りするようにって言われてるんです。
前回里帰りの時は上の子と父がテレビのチャンネル争いになり、上の子も下の子が産まれたストレスで泣いて泣いて、父も「大人がダメだと言ってるのに聞かないのは異常だ！」と怒り、すぐさま里帰りを途中でやめました。
今回は上の子たち二人も子どもがいるから本当悩みます。
こんな父親いる方いません？