義実家との遠出について

現在生後3ヶ月の子供がいるのですが、ゴールデンウィークに一緒に遠出しないか？と話がきているのですが、車で2時間、朝6時から夜の8時ごろまでで、潮干狩りと神社に行こうと義姉に提案されました。
すぐに旦那がそれはしんどいと言ってくれたのですが、提案だけでも子供のことを何も考えてくれてないのがわかってすごく嫌な気持ちになり、行きたくありません。
子供もいま、生活リズムを作っていて、夜9時までには寝てくれる子なので、それを崩したくないのです。
断りたいのですが、そもそも4ヶ月の子を朝から夜までお出かけっていいんですか？