祖父母、義父母がいなくても大丈夫？

夫の祖父母の代から国立附属小で私達夫婦もそうです。我が家は一人っ子ですがお受験向きの子ではありません。なぜか性格は誰にも似ていなくて声も小さいです。絶対落ちます、面接で。ただ優しいです。お友達が転んでしまったり失敗したら「大丈夫だよ」とか「頑張れー」って声をかけます。ですがやはり自分に自信が無いのか声が小さくダメです。向いてないので受験させる気はありませんが、義母に「そろそろ本格的に動いてるの？」と聞かれました。
向いてないし、塾に行ってもこの性格は変わらないから受験はさせないと言ったら「うちの孫なのに有り得ない！代々そうなのに！」「もう可愛がれない」と言われました。
別に私たちが可愛がるので可愛がって貰わなくて良いのですが、もう義母や祖父母に会わなくて大丈夫でしょうか？？受験しないなら可愛がれないとか意味が分からない