そんなに嫌がること?

子供が友達をたまに家に連れてきます。
子供も友達の家に行ったりしてるので、許可してますが旦那が帰宅するのが14時で放課後は家にいます。
旦那は嫌がります。この前も子供の友達が家に来たら近くにある自分の実家に帰ってました。
そんなに嫌がること?　大人ならわかるけど子供が家にきても私なら気にしないけどな。