結婚したんだから、子供が小さいんだから、それらは確かに真っ当な理由なんですが、それをストレートに伝えても、旦那さんのような方には響きませんよ。

終電でも帰ってこず、連絡もないと、ドコで何をしているのか、事件に巻き込まれたんじゃないか、と心配になる。
家族なんだから、心配して当たり前。
あなたに家族を思いやる気持ちがあるなら、まずは、私が心配になるようなことはしないで。

と、あなたのことを心配してます！を全面に出してはいかがでしょうか。