実母に頼ることってそんなにいけないことですか？

現在、妊娠中で2歳の子供が居ます。

夫の実家のすぐ近くで暮らしており、私が嫁いだ形になります。私の実家までは車で2時間弱かかります。
1人目出産時から週に1度実母に来てもらっていましたが、現在は悪阻もまだ少しある為、週に3回程度、夫の居ない仕事の日に来てもらって子供のお世話や身の回りのことを助けてもらっています。

夫の実家に頼るのは気を使うし、やはり義母よりも実母に子供を預けた方が安心なので、義母には一切頼らず、実母にのみ助けてもらっています。義実家にはたまに子供をつれて遊びに行っています。
いつものように実母に来てもらって帰った後に旦那が仕事から帰って来て言われました。

「遠方から週に何度も来てもらうのは気を使うし、いっそ実家に帰ったらどうか？自分が不在のときに頻繁に来られるのもあまりいい気はしないし、しんどいならすぐ近くに義母が居るのにそこを一切頼らないのもあまりいい気がしない。少しわがままなんじゃないか。」とのことです。

私は悲しくなり、感情的になってしまい、今は子供を連れて実家で過ごしています。

以前にも実母のみ頼ることでケンカになったことがあります。

実母に頼ることってそんなにいけないことですか？