障害者の弟がいます。相談させて下さい。

4歳下に自閉症の弟がいます。会話ができないので重度ですが、身の回りの事は自立しており実家で両親とともに暮らしています。
小さい頃から弟が理由でいじめられ、小学校の行事には親に来てもらったことはなく、旅行に連れて行ってもらったこともありません。家族って何だろうと思いながらも仕方ないと我慢してきましたが、やはり何でも弟優先、パニックを起こすこともあり、受け入れることができないまま18歳で家を出ました。
弟からすると私を姉だと認識していないので、私が子どもを連れて実家に帰った時、パニックを起こして子どもに危害を加えようとしたことがありそれ以来実家にも帰っていません。
両親は61歳、後々は施設に入所させると言っていますがまだまだ一緒に暮らすつもりのようです。しかし本音を言えば、私も子どもたちと祖父母を会わせてあげたいので、早く施設に入れて欲しい…。
この先両親が他界した後、また私より弟が長生きしたら…私の子どもたちに迷惑がかかると思うと申し訳ないです。
血の繋がった弟を見捨てたいと思うなんて、自分でも酷い姉だなと思います。
でももう自分でもどうしたらいいのか分かりません。やはり弟の面倒は見るべきですよね？