パニック障害持ちです

私が現在も心療内科に通っています。(今はパニック障害ですが、不安症や鬱等がありました)

元旦那の収入だけでは生活が出来ず(その間専業主婦でした)、離婚をし地元に帰って来ました。
私の体調等を含め元旦那と話し合い、親権は元旦那です。

父親の家(戻るのは承諾を得ていました)に戻ったら、最初はいい顔してたのですが(3日程)、｢働け！お前は1度嫁に行ったんだから他人だ。｣と言われます。
｢俺は年齢的(65歳)に養われる立場なのわかってるのか！｣と言い、父親の判断では｢勘違い。気の持ちようだ！｣と言われます。

このままだと本当におかしくなりそうで、縁を切りたいのですが金銭的に難しいです。
もうどうしたらいいでしょうか？