ママ友が旦那さんを連れてくる

乳児を育てている専業主婦です。同じく乳児がいるママ友がおり、時々家に来てくれたり外でお茶をしたりします。
相談なのですが、毎回そのママ友の旦那さんが一緒に来ることについてご意見いただけたらありがたいです。
我が家に来るときや、外で会うときも必ずママ友とその子供、その旦那さんが一緒に来ます。私は旦那が仕事なので私と子供だけです。
ママ友が会う予定をたてるときに必ず旦那さんの休みの日を指定するため毎回必ず一緒にいます。
旦那さんが同行する理由は本人が来たいと言っているのと、荷物持ちだそうです。
私も最初は気まずさはありましたが、そんな人もいるんだな～くらいに考えていました。
ですが、最近私の旦那に、ママ友が旦那さんを連れてうちに上がることが本当は嫌だと言われました。
私は友達の旦那さんが一緒にいても、大人しい感じの人なので空気程度に思っていたので盲点かつ反省しました。
やはり一般的にママ友の旦那さんが毎回来るのはおかしいのでしょうか
旦那が嫌がる以上、友達の旦那さんがいるならせめて外で会おうと提案しようと思ってますが、波風が立たない理由の付け方等の助言があればいただきたいです。
今まで旦那がなんとなく嫌がってそうだったので、外で会うことは提案してきましたが、頑なに我が家に来たがります。旦那が気にしてるからと言ってしまっていいのでしょうか？