主様の偏見と独断で決めていないのであればいいのでは？
もちろん周り(誘う人)の意見も取り入れてのことならいいと思う。
ただ、付き合いの関係によっては考えた方がいいとも思う。
付き合いの浅いであろう人に初めからこのような態度をとり続けていたら
人によっては「何であの人は勝手に決めちゃうんだろう」って思われていても仕方ないと思う。