旦那の実家に泊まれって言われたけど、ありえなくないですか？

小学生の子どもと2人で私の実家に帰省する予定なんですが、
旦那に「ついでに俺の実家にも行ってきてよ」と言われました。

でも私は義母と仲が悪くて、もう何年も口をきいていません。
そんな状態なのに「一晩泊まっていけ」なんて、正直ありえないと思ってます。

旦那は「子どもを見せてあげてよ」と言うけど、
私からしたらすごく気まずいし、ストレスでしかないです。

こういう場合、みなさんならどうしますか？
無理してでも行くべき？ それとも断っていいと思いますか？