成績が落ち気味だから土日も勉強しないといけない、宿題が最近難しくて親子で土日に集中してやってる、中学受験するかもしれないから土日も何かと忙しい、英検・漢検の勉強する、オンライン塾があるから、など何かと勉強を理由にするのはどうでしょう？

普通の親なら、4歳がいたら勉強の邪魔になっちゃうなって遠慮するはずだけど、まぁちょっとアレな感じなら空気読まず突撃は有り得るかもですね。
義両親にもこれから勉強に本腰を入れる、ような感じに言ってみては？
お子さんのタイプにもよりますが…

的外れな案だったらごめんなさい。