子供を転校させたのに、彼が入籍してくれない。

小学三年生の息子がいて、あまり治安のよくないところに住んでいました。
私にはお付き合いしている彼がいて、彼が「息子君がそんな学区の小学校に通っているなんてかわいそう！うちに引っ越してこい！息子君が転校先になじんだら入籍しようね」と言われて、
彼の家に同居してます。
そしてお腹には新しい命が。
去年10月に転校させたのですが、息子は新しい学校になじめず元の所に帰りたい！！って
泣いてばかりです。登校しぶりもあり私が大きなおなかで母子登校。妊娠中なのは学校で
隠していますが二人目なのでお腹が出るのが早く、先生にもちらっとお腹を見られました。
彼は息子に対して「情けない奴！再婚は延期だな、あーあ、お腹の子がうまれるまでに入籍したかったのにな」
元の学区には、私の実父が住んでいます。
息子はないてばかりで母子登校した後教室に入れず、保健室登校。
小３なので授業のスピードが速く
私も焦ります。初夏には赤ちゃんも生まれてくる。
私の実父と息子の相性が悪くても、息子だけでも返すべきでしょうか？