生後3週間の息子…自信なくしました。

生後3週間の息子ですが最近起きてる時で、お腹も空いてないおむつも汚れてなく機嫌がいい時に私が、抱っこすると手足をﾊﾞﾀﾊﾞﾀ動かしてみたり二の腕の方に首を向けたりじっとしていません。
私以外の人が抱っこするとじっとしているのですが実母、義母、旦那に
愛情がないの赤ちゃんはわかってる。
あんたに抱かれるの嫌なんだよ。
などと言われ完全に自信を無くしました。
上の子の時は、抱っこするとじっとしていたのでどうしたらいいかわかりません。