自分が！じゃなくて、
「赤ちゃんにかかりきりで上の子との時間がとれず寂しがってる。たまには上の子と二人で思いきり甘えさせてあげたいから赤ちゃんみててくれる？」
って、あくまで上の子のためにって言ってみたら？
それでも文句言う旦那なら、こどものことすら大切に思ってないみたいだからもう諦める。