共通の仕事なら、その作業をやり始めた人が主体としての「手伝おうか？」だからおかしくない気がする。「私やるよ？」だと変に角が立ちそうだけど。

夫の「手伝おうか？」に疑問が生じるのは、一緒に住み始めた(一緒に育児を始めた)時点で同じスタートのくせに何を言ってるんだ？って感じだからだと思う。