妊娠5ヶ月です

旦那の仕事が忙しく、上の子とつわりで倒れている私の面倒を見られないからと初期からずっと上の子と一緒に実家に帰されてます。
つわりも治ったので、本当は今月末に一度自宅に戻るつもりでしたが、12月から旦那の仕事がますます忙しくなるから帰って来ても意味ないよ？どうする？と言われこのまま実家に滞在することにしました。
自宅から義実家、私の実家共に高速を使って2時間の距離ですが、今年の夏休み以来義実家には行っていません。
私の母と祖父母からは「上の子がもうすぐ2歳で今が一番可愛い時なんだから向こうの親も孫に会いたいはず。旦那くんは忙しくて帰れないから、アンタと子どもだけで義実家に行って2～3泊してくるべき」「2～3泊では向こうの両親に懐かないから、1週間はいるべき」などと言われています。
義父母はとてもいい人たちなのですが、上の子妊娠中に義実家に行った時、妊娠中の私を義実家に置いて旦那が友達と飲みに行ってしまったこと、当時妊娠8ヶ月だったのに、慣れないよその家に滞在したことで落ち着いていたつわりがぶり返してしまったことを思い出します。
私は今回も初期のつわりが酷く、ようやくつわりが終わったところなので気を遣いながらよその家に泊まるのは正直苦痛です。
それに、過去に旦那が女性関係の裏切りをして大喧嘩になったこともあり、忙しいところ申し訳ないけど今も「本当に仕事してる？」という疑問や不信感が払いきれないこと、もし今回も私と上の子を実家に帰しているこの間に私たちを一瞬でも裏切っていたとしたら、私は旦那の両親のためにそこまでする必要ある？と思ってしまいます。
義両親に「来て」と言われたわけではないし、うちの身内が勝手に言っていることなのでどうなるかはわかりませんが、正直行きたくないです。
過去に色々あったとはいえ、今再構築を決めて過ごしている以上、私も我慢して身内の言う通りにしなければいけないのでしょうか。
とてもモヤモヤします。