大晦日を夫の実家で過ごさないのは非常識ですか？

結婚6年目。私が嫌がるからという理由で夫が配慮してくれ、大晦日は毎年家族だけで過ごしています。しかし元日に夫の実家を訪れるたび義父に非常識だと嫌味を言われてしまいます。嫁としては夫の配慮を振り切ってでも泊まりに行くべきですか？小さい子どももいるし自宅でゆっくり過ごしたいのですが、、義父に毎年チクチク言われるのがいい加減面倒臭いです。