お父様、発達障害をお持ちではないでしょうか？
そこまで話しても話が噛み合わず、自分の主張を一方的に押し付けるとなると、性格ではなく発達障害の可能性も考えられます。そして発達障害は遺伝の可能性がかなり高いことも知られております。
会わせても会わせなくてもどちらでもいいと思います。ただ孫にとってはじいじですので、会わせなくても悪口などは言わずに、淡々と日々暮らせばいいと思います。会わせようかなと思ったら会わせて、また何かあるようでしたら疎遠でいいと思います。