主のこと苦手な人や無理だと思う人は遠巻きにしたり離れていくから、あなたが気にしなくてもいいんじゃないかな。
そもそも主は配慮とかできないでしょ？
できるタイプならこんな相談しないだろうし、気にせず無差別に話しかけたらもしかしたら1人くらいはいるかもよ？