私の考えとしては、赤の他人が3人も加わる事でお子さんのメンタルが心配です。
実母が一緒に暮らしたいと言っている状態で赤の他人の私がそれを差し置いて一緒に暮らすのも違うと思うし、それなら実母の所に行った方がその子の幸せなんではないかと言う思いが一番強いです。