入って数ヶ月の新人を残して自分は仕事辞める。これって無責任？

転職先が合わずに2年で退職することにした。
今はわたしと入って3か月の新人二人体制でやってて、他に一年後くらいに育休復帰する人がいる。
だから、私が辞めると新人さんは約半年は一人で業務やってもらうことになる。

仕事は事務職で、正直言うと業務は事務職にしてはめちゃくちゃ大変で、覚えることいっぱいで事務職というより営業の秘書的な感じになってて、いわゆる何でも係みたいな状態になってる。

だからわたしはやってらんないってなって辞めることに決めたんだけど、
ただ仕事辞めるんじゃなくて、やりたいことあって新しい職場も見つけたからちゃんと考えたうえで退職します。
新しいとこからは、今すぐ入社してほしいってわけじゃないから元の職場と話し合って辞める時期を決めてねと言われて、でもわたしはすぐにでも辞めたいから数ヶ月後に辞める決意しました。

そしたら旦那に「ちょっと自分勝手すぎない？残される新人が流石に可哀想」って言われた。
新しい職場は今すぐ来てほしいって言ってるわけじゃないんだし、せめて育休の人が戻って来てから退職すれば？って。

なんで私が他の人の状況考えて退職する日合わせないといけないのかがわからないんだけど、
みんななら新人ひとり残して辞めるようなことは避ける？

自分の人生だし、いつ辞めてもいいとわたしは思うんだけど、どう？