> こういう時はやっぱり毅然と断っていいですよね。

断るのではなく、「今、来客中なので 3時間後なら・・・」とかいうように、義両親の訪問時間を遅らせてもらうようにすれば良いと良いと思う。
こういうやり方を続ければ、義両親も前もって あなたの予定を確認するようになると思う。