職場の同い年男性との距離の縮め方について相談です

独身が失礼します

職場で同じ派遣会社に所属している同い年の男性を好きになりました。
2人きりになった際に「同じ派遣会社ですね」と会話をし、その流れで私から「よかったらLINE交換しませんか？」と伝えて交換しました。
相手の方には彼女や奥さんはいないそうです。
ただ、私は遅番で相手の方は早番のため、勤務時間が異なり、さらに職場でも階が違うこともあって会えない日もあります。
それでも「また明日職場でよろしく」と言ってくれることもあり、関係は続いていると感じています。
社交辞令かもしれませんが、「いつでもLINEしていいよ」と言っていただいたので、現在毎日LINEをしており、今日で5日目になります。
そのうち2日は電話もして、1時間半ほどお話しました。
LINEは送れば返信はくれるのですが、相手から連絡が来ることはほとんどありません。
電話ではたくさん質問をしてくれたり、会話を広げてくれたりして、とても楽しい時間でした。
また、職場では敬語なのにLINEではタメ口で、そのギャップにも驚きました。
私自身、元彼の影響で不安になりやすく、ネガティブに考えてしまうことがあるため、「毎日LINEして迷惑ではないですか？」と聞いたところ、「そういうのはよくないよ。送りたい時に送ればいいよ」と言っていただきました。
このような状況なのですが、ここからどのように距離を縮めていけばよいでしょうか？
アドバイスをいただけると嬉しいです。