車のマフラーの音の苦情

はじめまして。
朝９時すぎ、隣の人の怒鳴り声がしました。何を言っていたかは不明ですが、先ほど隣の人がうちに来ました。最初はインターホン越しと思ってたのですが、玄関を何度もガチャガチャされるので、出ると、30～40代の男性の方で、主人の車のマフラーの音が煩く、親と殴りあいの喧嘩をしたと言われました。そして子供のことや、私達の年齢まで色々聞かれ、その方の親が無理矢理息子さんを連れ帰っていきました。
先月引っ越してきたばかりで怖いという気持ちと一軒家で何処に相談していいか分かりません。

この場合は隣の方と話し合う以外方法はないんでしょうか。

アイドリングはしてませんし、車検は通る車ですが、主人の仕事の現場によって朝早かったり、夜遅かったりするのですが。