娘達が実家に行って帰って来なくなった。

私はバツイチで、小5、小3の娘がいます。
実家の近くにアパートを借り、住んでるのですが 最近、勤務先で知り合った男性が 我が家に出入りするようになり、娘達は私の実家にいる事が多くなってきました。そして冬休みも終わる頃、上の子から
「私達はじぃじ、ばぁばと住むから。 ママはあの人の方が大事なんだよね?」と言われて何度も違うと説明しましたが、わかってもらえません。辛いです・・・