寂しくはないかな
妻を大事にする=子を蔑ろにする、ではないからね
我が子を大事にするのは本能的にできること、
だから意識的に配偶者を大事にする位でちょうどいい、ときいたことあるし

どちらを優先するにせよ、それで家庭が上手く回ればいいんじゃないの？
第三者が嫌がる話ではないと思うけど