>>私とは不妊をきっかけに離婚して、なぜ今更若い女性と？

何の矛盾もないよね。
どうしても子ども欲しかったから若い女を選んだ。それだけじゃん。
自分がじいさんなんだから、少しでも若い子と結婚しないと、また不妊で子どもなし…とかになったら困るじゃん。可能性が少しでも高い方を選んだにすぎない。