彼と真剣に話し合おうと思います。私は大事なこと以外で連絡取られるのが嫌なことを伝えるつもりでいます。
お子さんと連絡を取り合うのはなにもいうつもりはないというつもりでいます。
いつまでも家族ごっこみたいなことをするのは、お子さんたちにかわいそうだと彼に伝えてみますね。