そんなに劣等感、感じなくてもいいと思います。キチンとさえしてれば、ハイブランドでもノーブランドでも、それなりに見えますよ（まぁ、生地の違いは確かにあるかもしれませんが）。
付き合いで行くランチやお茶代に値が張って、ついていけないっていうなら、別問題ですが