自営業社会保険無責任だと言われて

自営業で会社経営してます。
数年前から従業員に社会保険を掛けてました。
が、社会保険の保険料の会社負担がきつく
従業員に社会保険を外してほしいと話しましたら無責任だと言われてしまいました。
本当に無責任なのでしょうか？
それが嫌ならば、辞めたい人は辞めて貰ってもいいと思ったのですが。
で、社会保険事務所に社会保険がキツいから
辞めたいのですが、と連絡しましたら
脱退は出来ませんと言われてしまい
結局今も社会保険掛けてます。

無責任な行為だったのですか？？