義両親ではなく、義祖父母と暮らしている方いますか

義母は亡くなり、義父は女を作って出ていったので、主人は義祖母に育てられました。
義祖母が主人にしきりに帰ってこい、同居してと言います。義祖母には、二人子供が居て、義父が長男です。次男（主の義叔父）も居ますが、｢お前（主人）は婆さんに育てられたんだから、恩返しのために同居しろ｣と。
でも怖いです。義祖母は、お正月にまだ一歳にもなっていない子にエビをこっそりあげていました。子供がべーっと吐いたので問題なかったのですが、私がアレルギーの可能性もあるし止めて欲しいと言ったら｢ついつい、可愛くてねぇ｣とニヤニヤしていました。
だから不安です。正直に拒否した方がいいですよね？