図々しいと言われた。私が悪いの？

去年結婚して子供が産まれました。もうすぐ一歳です。
実家が近くてよく子供を実家に連れて行きます。父は離婚していて、私が15歳の時に再婚しました。私は20歳で一人暮らしをしたので新しい母と一緒に住んだのは5年ほど。
母に最近「ずっと言おうと思ってたけど、そろそろ自分の立場考えてくれない？図々しすぎるわ。普通父親が再婚したら色々遠慮するよね？いちいち家に来ないで。迷惑だから。ここを実家と思わないで。」と言われました。
それから行っていませんが、父が再婚していたら遠慮するべきだったのでしょうか。