人と会話するとストレスが溜まる人いる？

旦那がこのタイプで職場の人に話しかけられるとイライラするそうで
とにかく人との会話＝ストレスだそうです。
最近、マイホームを買う為に色々と見ているのですが担当者との会話もストレスだそうで
私はてっきりローン（借金）を組む事に
プレッシャーがあるの？と聞いたら
「借金する事より担当者との会話が苦痛」との事。
尚、不動産の担当者は失礼な方ではなく
むしろ対応は良く、親切な人です。
旦那曰く、気心の知れた学生時代からの友人や家族との会話は気遣わなくて良いので
平気だそうですが職場の人や営業マン相手だと気遣って気遣って会話がストレスになるとの事。
同じ人いる？