モ旦那が彼女とデートに行くのが辛い

元旦那とは一度は離れましたが、情けないですが三人の子供を一人で育てられず、子供が18歳になるまでの約束で、一緒に住まわせて貰っています。
(因みに母子手当等は貰っていません)

最近元旦那に彼女が出来たみたいで、頻繁に家を空ける様になりました。

その事で喧嘩になりましたが、元旦那は離婚してるんだから彼女を作ろうが俺の勝手だ。子供に関しては仕方ないけど、異性関係でお前に縛られる筋合いはない。と言われました。

確かにその通りなんですが、やっぱりまだ好きな気持ちもあるし、一緒に暮らしているのは私なのに、他所の女の元へ行くのに、快く送り出す事が出来ません。

デートに行くと分かっているのに、何も言えなずに辛いです。
どうすれば元旦那の気持ちを取り戻せるでしょうか