別に柔軟剤使わないのはその人の勝手だから控えなくて良いと思うけど、その人の嫌味が気になるなら半量にしたり上に何か羽織れば良いのでは？
悪口みたいにヒソヒソ他人に言うんじゃなくて主さんに直接言うの？
直接言うなら本当に匂いが辛いのかも