実母、祖母に貶されます。(長文です)

昨日、祖父(90歳)が体調が悪いとのことで免許を持っていない実母を乗せて祖父の家にお見舞いに行きました。
祖父は畑に行って居なかったのですが、その間晩御飯を作りながら帰りを待っていて、私は仕事帰りでもあったので疲れて寝ていました。
その時、台所から〇〇(私の姉)は役員もして、子供は英会話に通わせてしっかりしてるのに〇〇(私)は何もしていない。子供を預けっぱなし。なんの手伝いもしないなど祖母が言っているのが聞こえました。
私は母子家庭なので、確かに塾には通わせてあげられていません。3〜4年生ぐらいまではしっかり教えられると思うので家庭学習を私がしていました。春休みも昨日祖母に言われてお泊まりしただけです。
祖父も祖母も免許返納したので、病院の送迎、買い物、外食がしたいなどのお願いは聞いていました。
親戚や兄弟は何もしてくれないのに〇〇(私)だけはよくしてくれる。といつも喜んでくれていたので、悪いように思われていないと思っていました。
それが聞こえて、怒って母を置いて帰ってきてしまいました。
私の母は保育園のころから男を作って出ていった人なので、その時カッとなって「母は私を育ててない」と言ってしまいました。
今は仲良くしているので本当は言いたくなかったし、捨てられたことなど思い出したくなかったです。
ですが祖母に何もしていないと言われすぎて、母もではないかと反論してしまいました。
その返しが「お前の母はお金を渡してくれていたから育ててやれた」と。
言われた時は頭が混乱して何も思わなかったのですが、今となれば話してるのはお金の問題じゃないよなあと思います。
母は悪かったから、とりあえずご飯食べてから帰ろと言ってくれたのですが、気の強い祖母はそれからもお前が悪いと言っていたと思います。
沢山後悔しそうですが、これを機に絶縁するのもいいのかなと思っています。こちら側がこれからも顔色伺っていく方がいいのか。アドバイスください。