義父が怖い…

旦那の両親と去年から
同居しています。
先週、義母から今週の金土日で旅行に行く事を告げられ、義父も釣りに行って居ないそうで、孫のお守り出来なくて悪いけどよろしくね！と言われてたのですが、今日、義父に『みんなには内緒だけど、実はお父さん、釣りに行かないから○○ちゃん、寂しくないからね。』と言われました。
旦那は今、シンガポールに３ヵ月間出張に行ってて居ません。一体、どういうつもりなのでしょうか…？
気持ち悪いので、実家に帰りたいところですが、飛行機に乗らないと帰れない距離で…。子供はまだ６ヶ月だし、金土日が来るのが怖いです。こんな事、旦那にも義母にも言う訳にもいかず…長文すみません。