主さんの実家側の人たちには、借金や暴力問題があったから顔を出しづらいと言えばいいだけでは？気にするなと言われても気にしてると。お子さんたちには、体調不良とか適当な理由を。そのうち何となく察するでしょう。

それよりも借金をどうするかの方が問題だと思う。なぜ借金をしたのかも含めて。