転勤になった時

小学生の小さい子供がいる家族です。
主人が転勤になるかもしれなくて今の会社を辞めて仕事を転職しようかなと言います。
移動の話が出るたびに転勤になるなら仕事辞めようかなと言います。
そのたびに心配になるのですが転勤が嫌だから辞めるとかいうのは大人や社会人として有っても良いのでしょうか？
何年か前に1度転勤の話を断っています。

子供は学校に慣れて楽しく過ごしているので引越しで転校は精神面で影響がありそうなので今の時期は考えていません。持ち家もあるため難しいです。
単身赴任で長くなるようなら時期を見て一緒に。。と思っています。
数年で戻れたらありがたいですが分からないです。何も相談せず単身赴任が嫌だからと会社を辞めてきそうなのがとても不安です。
もしご主人がこんな感じならどうされますか？