朝のバタバタ時間のトイレについて

私たちは夫、私、男の子双子の9歳、女の子1歳半の5人家族です。マンション暮らしで朝の準備中のトイレについて夫から言われた事に少しもやっとしてしまいました。
それは、朝のトイレ事情です。夫と双子達は出ていく時間が近いので起きる時間も近いです。そうするとトイレが一つしかないのでよくトイレをノックしてトイレに行きたいよと入ってる人に対して言うのですが、それに対して夫がデリカシーがないと言ってきました。
しかし、夫はトイレに入る時はケータイを持って入りすぐには出てきません。夫はぼーっとしたりケータイをいじったりしてトイレの中で過ごすのです。私はそれが前から嫌でしたが特には何も言わずトイレに行きたいときはノックをしたり、用事がある時すぐに回答が欲しくてトイレの外から質問したりします。子ども達も同様にします。
しかし夫は、こっちは声をかけられるとイラッとする。みんなと被らないように今から入るよと声かけをしている。なぜ俺と同じ時間に起きて行動するんだ、早く起きたり時間帯を変えたりしたらいいぢゃないかといってきました。私は、育休中なので急いではいませんが子供達の朝食の準備などで似たような時間に起床します。朝ごはんがあまり食べれない子供達に大層なものは作らなくていいのであまり早く起きて準備はしていません。デリカシーがないと言うより夫も自己中なところがあるように感じるため一方的に言われたことに疑問を感じます。みなさんはどう思いますか？