バツイチ子持ちとは付き合えないと言われた。

取引先の男性に恋愛感情なくランチや仕事終わりに少しお茶飲んだりしていたら、付き合って欲しいと告白されました。
私バツイチで子供も二人いるから付き合えないと即答したら、バツイチで子供もいるの？？バツイチ子持ちとは付き合えないよ。と言われました。
ちょっと失礼じゃないですか？
バツイチ子持ちの立場もわかってるつもりだったけど、なんか嫌な気分になった。