【旦那さんが自営業で、その手伝いorﾊﾟｰﾄに出てる奥様に質問】

うちは旦那が自営(一人親方)をしていて税金対策？のために私は専従者として申請しています、といっても実際は毎日仕事の手伝いになるようなことなんてしてないんですが(確定申告時期に書類を作る程度)。それで今度私がﾊﾟｰﾄに出たいと考えているんですが、そうなると税務署には専従者をやめる届け出が必要なんでしょうか？もしそうならﾊﾟｰﾄが決まってから届け出ても構わないんですか？管轄の所員の態度が怖いので税務署で聞く勇気がありません…どなたかお願いします