子供の頃親に可愛いがられなかった人、今どうしてますか？

子供を二人もった今、昔の事でかなり悩んでいます。
一人っ子の父の親と同居だった為、初孫で唯一の孫の私は産まれてすぐに祖母に取り上げられたそうです。
それからは育児は全て祖母。寝るのも一緒、ミルクやおむつも祖母、母の悪口を聞かされて育ちました。
妹が産まれても祖母はあまり興味をもたず、両親は私を取られた反動もあり妹を可愛がられました。
小さい時から８時になるとリビングに祖母が来て「寝るよ」と言われ両親や妹が楽しそうに団欒しているのを尻目に寝るのが切なかったです。
クリスマスも大晦日も、妹が起きていても私は祖母と寝ました。
小さい頃から、母と寝たのは旅行の時だけです。

そして中学に上がると自分の部屋をもらい、一人で寝るようになりましたが、両親との溝は深く悩みを相談する事は一度もなく、反抗期の真っ只中に母は癌で亡くなりました。

「妹の方が可愛いんだろうな」と思いながら大人になり、結婚しました。
程よい距離感で父と付き合ってきましたが、自分の子供が産まれて複雑な気持ちが芽生え始めました。
私はこんなに可愛い子供を手離せません。
下の子もかわいくてたまりません。
何と表現していいかも分からない位可愛い子供たちを、自分のような悲しい思いをさせたくない。

実家を疎遠にしたい気持ちと葛藤しています。

父が孫を可愛いのも分かっているつもりですが苦しいんです。
妹は精神病を煩い実家で引きこもりの金食いニートです。