長男と合わない

私は半年前に離婚し、今は4歳息子と2歳娘と三人で暮らしています。
まだパパがいるとき、息子は私を嫌いで私がおいで～と言ってもパパがいい～と泣かれることもしょっちゅうでした。
新生活になり三人で暮らし始め、子供たち2人でふざけているのがわかってるのに、長男にだけキツく怒ってしまいます。かなり感情的になってしまいます。
娘は本当に本当に可愛いと心の底から思うのに息子に対してはもちろん可愛いし大切なのですが娘程の愛情を持てません。
こんなことを思ってしまうのが辛いです。誰かに相談したいのですが、保険センターとかに相談したら息子は保護されてしまったりするのでしょうか？