お母さんが余裕持てることは子供にとっても良いことだよ。
それに両方の祖父母に囲まれて愛情浴びまくって育つ子供なんて、幸せの一言じゃん。
恵まれた環境ってだけで、それを人様からとやかく言われる筋合いないよね。
堂々と、大人としての必要最低限のお付き合いのみで良いと思う。