同じアパートの人について

同じアパートに住む人のことなのですが、旦那さんはﾔｸｻﾞで奥さんが元ﾚﾃﾞｨｰｽ総長という夫婦がいます。その夫婦の子と私の娘は同じ年で、生まれも１ヵ月しか違わないので、顔を合わすとお喋りしたりしているのですが、やはり周りからは評判が悪い夫婦で、近所の方に｢付き合わないほうが良いよ｣と言われます。
私は、奥さんと年も近いし別にいやな人とは思わないのですが、やはり挨拶程度の付き合いにしたほうがいいと思いますか？

近所での評判は
・挨拶をしない(特に旦那さん)
・奥さんが万引きしている
・夫婦喧嘩が激しい
・子供の教育がなってない
・ゴミを前日の昼間から出している
など他にも色々聞きます。
家にあがってもらった時に、１度物がなくなった事があり、それからは立ち話程度の付き合いになっています。
やはり私次第ですかね？
私が仲良くすることで、自分の子も変な目で見られてしまいそうで心配です。

その奥さんは25歳です。万引きは確かなことかは知りませんが、近所に住む義母も買い物していて警備員に止められているところを見たと言っていました。

無くなったのは、小銭入れにしていた財布です。その時は何十円程度しか入っていなかったので、奥さんには何も言ってません。
ゴミは毎回、可燃不燃に関わらずです。
今のままの距離を保ってるのが無難ですか？
たまにランチに誘われたりするんですけど、断るにはどうしたらいいですか？