トピ主さんのお気持ちはよくわかります。
ですが・・・
息子さん夫婦のご様子程度の距離感で親御さんも付き合えば良いのでは？
息子さんご一家がうまくいっているのであれば放っておいて良いのです。
お孫さんも小学校・中学校・高校・大学と進むうちに、どんどん忙しくなります。
これから先もあまり自分たちの色々な要望への期待は出来ないのだなと、
次男さんご夫婦に早々割り切る予習・勉強をさせてもらったと思うことです。
人の心は子どもであろうと、所詮「人のもの」。
自分たちは自分たちの楽しみを見つけたほうが良いですよ。
もちろん、老後の備えも含めて
（色々アテにもしないし、そもそもアテには出来ないということ）。
あちらもその程度なのですし、帰省の際の5万も渡す必要もありません。
これまでだって、親御さんがいらした際にでも
交通費やホテル代を（食事代も）息子さんご夫婦が負担したって良いはずですよ。
一度だって、親孝行でそういう対応をしてもらったことはありますか？
構えば構うほど、あちらはうっというしく距離を置かれるだけです。
所詮その程度にしか思われていないのだと、こちらもそういうスタンスで。
親子であろうと期待もしないし期待もさせない。
親子であろうと、お互いにとっての『程よし（程々）の距離感』が一番かと。