うちも同じような感じ。子供は小2。
振り回されるのも癪だし特に面会日は決めてない。向こうも特に会いたいとか言ってこないし。。ちなみに向こうは再婚してる。
私としては養育費さえちゃんともらえればいいんどけど、ただ、子供が「僕は会いたいのにパパは会いたがってない」って感じちゃうのはとても可哀想だから、週末は色々と他の予定を入れて「なかなか忙しいから今度ねー」とか言いながら、あえて「面会にあまり乗り気ではない母親」を演じている。

あとは、子供にはキッズケータイを持たせてるから、寂しくて連絡したいときには自分で電話なりメールなりさせてる。

あまり気にしてるとメンタルによくないし、相手を変えるのもムリだから、少しでも母子で楽しく過ごすことを考えた方がいいと思うよ。