それは、相手が間違っていると思いますよ。不義理が出来ないのが葬儀で、当家側からすると結婚式と違って招待という形がとれないので、ご厚意で弔問に来て頂くという形になります。
きっと、相手側のご家族もわざわざご足労を頂いて…と、思っていると思います。
ただ、まれに家族葬、密葬など色々な事情から家族のみで執り行いたいという場合もあるのでその点は気を付けなくてはいけない時もあります。