孫は元嫁と一緒に暮らしてるんだね。それならお年玉と誕生日だけお小遣いあげて、会わなくていいんじゃないかな。
元嫁に似ていようが、会いたくないと言われたら息子の子どもでもあるんだし息子はショック受けるだろうね。
とりあえず数ヶ月続けて面会の日に用事を作って会わないようにしたら？