旦那の連れ子との距離と関係に悩んでいます

旦那とは8年前に知り合って結婚しており、旦那と私の間に6歳と4歳の子どもがいます。
最初は旦那の方に子どもがいたけど、元奥さんと暮らしており、関わる事はなかったんですが、とある事情でこちらが引き取る事になってしまい、2年前から一緒に暮らしています。
現在中学1年生で、こちらが家族で外食に行く時も一緒について来たがったり、どこかに遊びに行くってなっても旦那が誘ってしまうのでついてくる感じだから家族だけで楽しむ事が出来なくなってしまいました。
向こうも私に気を遣い、私も向こうに気を遣うからちぐはぐな感じだし疲れてしまいます。
どう接して行けばお互い気を遣ったり気にしないで済むようになりますか？