父親が鬱病なんですが…(超長文)

実家(父、母、兄)は車で五分ぐらいのところにあります。
父が元気だった頃は時々遊びに行っていたんですが、定年退職と同時に鬱病になりました。
当初は支えになるつもりで通っていたのですが、私が二人目を妊娠しあまり行けなくなり、子供だけでも連れてこいと言うのと切迫になったので一日だけ数時間預けると「おまえが調子悪いと鬱がひどくなる」「二人目とかよりこっちの心配をしてくれ」等何度も電話があり 、すぐまた迎えに行き、それ以降は頼るを一切やめました。
すると今度は、「なんで連れてこない」「文句なんて言わない」攻撃が始まり…。
連れていくとすぐ子供に当たるし、自分より子供に注目が行くとおかしくなったりするので、子供もビクビクしてしまい連れていきたくありません。でも本人は一切悪気はないんです。
病気で仕方ない部分もあるのはわかってますが、こんなに近くにいるのに会いに行かない私はやっぱり親不孝でしょうか。
私がどんな状態であろうと、自分の心配をしてくれだの頼みごとも多くて。
今後、治るかもわからないしどう付き合っていけばいいのか、実親なのに真剣に悩んでいます。
読んで下さりありがとうございます。