離婚して引き取った娘が父親と暮らしたいと出て行きました。連れ戻すべきですか？

元夫とは性格の不一致が原因で離婚して1年半たちます。
子供が転校したくないと前に住んでいた所から近いところにアパートを借りて住んでいます。
（元夫がお金ができたら地域から引っ越すとの約束で）
定期的に元夫と子供と会うこともきちんとしていましたが、子供（小学5年の娘）は私に内緒でちょくちょく遊びに行ったりしていました。
別れた元夫もそれが嬉しく私には何も言ってきませんでした。
そういった事実がわかり、私もカッとしてそんなに父親のところに行きたいなら出ていけと言うと、荷物をまとめてホントに出て行ってしまいました。
何度か話し合いしましたが、私の所に帰る気持ちは無いとの事。
別れた元夫の所は生活環境が悪くまわりの友人に相談しても、連れ戻した方が良いといいます。
ただ、私が友人（男性）を居候させていて、子供は嫌だったのかもしれません。
それが1番の原因だったのかもしれません。
年内には出ていきますが、その人が出ていっても私の所には帰りたくないとハッキリ言われました。
小学３年の弟は私の所にいますが、姉弟が離れることについても聞きたいです。
このまま、子供の気持ちを尊重するべきなのか、早く連れ戻した方がいいのか、
皆様のご意見をお願いいたします。