ニートの義弟を追い出したい

新築の家に義父、義弟（33）、旦那（36）、私（25）、子ども2人、ネコと住んでいます。

義父が体を壊し、旦那が家業を継いだので、義父名義だった自宅兼事務所の我が家を旦那名義に変えるのですが、義弟が家を出ていく気配がありません。

今までは彼の実家でもあるし、我慢して同居を続けていましたが、家を手伝うことも、他所で働くこともないしもう限界です。
何も努力している気配がありません。
いい年したオジサン（私にとっては他人）が家の中をウロウロするのが嫌で嫌で仕方ありません。
義父の事は嫌いじゃないですが、そんな義弟を甲斐甲斐しくお世話する義父は見ていて気持ちが悪いです。

旦那は私の気持ちを理解してくれていて、資金もあるのでこちらが家を出ていくことも検討しましたが、保育園が自宅のすぐ近くということ、ペット可の物件が近くにないということ、事務所に来られたお客様への対応がすぐにできなくなること等、デメリットの方が大きいです。

義弟へのイライラを子どもたちにぶつけてしまうこともあり、本当に良くない環境だと思います。
子どもが女の子であることも心配の一つです。

毎日義弟が出かけるたび、単独事故でも起こして帰ってこなければいいのに…と思ってしまいます。
義弟に自立させる方法、何かありませんか？