実は兄がいると子どもに伝える場合

主人は私と再婚で、前妻との間に子どもが二人います。私との間に子どもが一人います。主人が前妻に養育費をきちんと払っていたかはわからず(購入したマンションは譲っています)、私と結婚してからは会っていないようです。離婚してすぐに前妻にあまり会わないでと言われたって言っていた気もしますが。これは前妻や前妻との子どもの気持ちを最優先してから会う、会わないという関係でいいのかもしれませんが、父親が再婚で自分に兄達がいると知らない私達の子どもに、それらの事実をどんなタイミングでどう伝えたらいいのかわかりません。主人に相談しようとする度になぜか不機嫌になり「まだ小学生だから何も考えなくていい」と言います。いつか伝えるときのために話し合っておきたいのに。大切な話や嫌なことからすぐに逃げようとする主人にイライラします。
私達の子どもに、兄達がいることをどんな感じで伝えたらいいのか、経験がある方、そうでない方からもアドバイスをいただけたら嬉しいです。