何が不正？

元旦那が、保育参観や卒園式、入園式に来ると知った人から、不正してんじゃないの？といわれました。養育費はもらってません。扶養手当はもらってます。子供が来てほしいと言うから、連絡を入れてます。
説明しても、へぇー、でも、ねぇ。とか言われてイライラどこがどう不正なのかわからない。無視していこうとしたら、いつまでもうだうだ言っているし、黙らせたいです。どうしたらいいですか？