これでパート辞めるのってワガママ？甘い？

約10年働いているパート。
９時から13時。週2日ほど勤務、扶養内。比較的休みやすい。年2回寸志あり。年末年始、お盆は職場自体が休みで祝日はカレンダー通り。
人間関係は悪くはないけど、1人みんなのプライベートを根掘り葉掘り聞き回ってる人がいる。職場ではその人と上手くやってるけど何考えてるか分からないし苦手。その人に何かされたわけじゃないし被害は無いけどなんかすごく苦手で最近は顔も見たくない。嫌な人はその人だけなんだけどそれくらいで仕事を辞めるのってやっぱり甘いのかな。旦那にはそう言われてる。