普通に考えて、幼い子居るのに不倫していたんだから、その時間はあったってことで(一般的には男にかまけてる時間なんてないよ)
そもそも子どもへの愛情や関心も低いタイプなんだと思う。
子どもが居ても女、お母さんだけの人生なんてイヤってタイプ、珍しく無いよ。
だから理解できるし、お互い無理なら施設にお願いするのは？
兄弟は一緒にいた方がいいし、たまに気が向いたら会いに行けば？