旦那実家に帰省してるけど元嫁との子と馬が合わない

旦那はバツありで子供がいます。
私との結婚の時私側にも連れ子がいたのでいきなり5人の母は無理と言うことでしばらく旦那実家で旦那の子は育ててもらう事になりました。が私がそのあと流産したり婦人科系の病気になったり転勤と色々あり引き取る話が無くなりました。
その後旦那との間には2人うまれました。
毎年帰省をしているのですが9年目にもなるのに他人行儀でよそよそしくて嫌な子供達だなと思ってしまいます。
旦那にも帰省したくないと言っていますがうちの子達も楽しみにしてるし旦那親も楽しみにしてるのに可哀想だろと言うしストレスです。