育てられるかどうかが肝心でしょ。
主さんが難しいと思うなら夫婦で話し合って決めることだし、そこにわがままだとかはないでしょ。
周りがなんて言おうと、その人達が変わりに育児してくれるわけではないんだから、いちいち言うことを気にしなくていいと思うけど。