旦那に子供が20歳になったら離婚と言われました

子供は今3歳のフルタイム共働きです。子供が産まれてから私の性格等で気になることがあり、何度か指摘したがなおらないので、このまま一緒に住みたくない、子供のために20歳までは一緒にいるが、その後は離婚したいと言われました。
指摘された性格は出産前からのもので、その時は気にならなかったが、出産後子供が似ていくのが嫌になったそうです。
なおせなかったことは申し訳ないですが、毎日嫌われてる人と同じ家で過ごすのが苦痛です。帰宅後普通に話しかけられるのも嫌です。今のうちに離婚すべきでしょうか。それとも待ったほうがいいでしょうか。
子供はパパが大好きで、毎日パパ、パパと言っています。お迎えや休日対応は半分ずっくらいです。子供と離れるのは一番嫌です。