ＳＡに置き去り。簡単に許せる？(長文です)

釣りだと思う人はスルーしてください。

先週、家族で旅行に行く途中で休憩で立ち寄ったＳＡでトイレに行って、飲み物を買って戻ったら車が無くあたりを見渡したら、旦那が運転する車がＳＡから出て行くのが見えて慌てて電話しようとしたけどスマホは車の中で公衆電話から私のスマホに(自分の番号しかスっと出なかったので)電話しました。

しばらくして戻ってきたけど、旦那曰く助手席に私が居ると思い込んで電話した時も私に電話出るように言っていて、子供に「ママ居ない」って言われて初めて気づいたらしい。
ただ私としては理由よりも旦那の態度が終始ヘラヘラしていて、謝罪も適当でずっとモヤモヤしてる。
当時から何度も話し合おうと思っても旦那の中では「終わった話し」って感じで取り合ってもらえずで今も許す気になれない。

そんな私の態度に旦那が周りに言って周りからは「もう許してあげなよ」って言われるんですが許せない私が悪いの？これって簡単に許せる事？