毎回子連れ

私の子供は中学生。
もう手が離れて居ます。
友達の子供は低学年。2人。
その友達がランチや飲みを誘ってくれます。
誘ってくれるのは嬉しいのですが、毎回子連れ。

兄弟ケンカ始まるし、大人の会話に入って来たり、帰ろう。帰ろう。と急かしたりして正直気を使います。しつけのつもりなんだろうけど、嫌な空気になったりもします。
私にも懐いてくれてるので遊び相手にされたりで疲れます。

旦那さんは仕事が忙しいし、おばあちゃんも近くに居ないから仕方ない状況ではあるんですが大人だけで話したい。

相手を傷つけない方法で伝える言い方ありますか？