お互いの家庭環境があるので一概には申し上げられませんが、離婚前提とかではなく家庭を壊したくない気持ちがあるなら、今回のケースは家族との約束を優先すべきだと思います。
それに対して不満を抱く彼氏なら何れ主さまに離婚を迫られたりするかもしれませんね。
バレずに上手くやっていこうとするのなら不倫なんて大抵は我慢の連続ですよ。彼氏といつでも会える関係なんて羨ましいくらいです。会えるどころか連絡さえままならない事も日常茶飯事ですから。