-
开课时间
2024.05.10 19:55
-
课程时长
105分钟
-
预约人数
3人预约
添加客服微信了解详情，添加时请备注【0510】
后训练稀疏中的可学稀疏率分配策略
- 课程介绍
- 精华文稿
- 课件领取
- 相关课程
神经网络稀疏性是深度学习压缩领域的一个热点研究方向。已经存在的一些稀疏方法需要大量的时间用以训练或微调，这阻碍了大规模应用。最近，出现了一些关注训练后稀疏性（PTS）的作品。他们摆脱了高强度的训练成本，但是由于忽略每层合理的稀疏率分配，通常会有明显的精度下降。以前寻找稀疏率的方法主要集中在训练感知场景，在数据有限且少量的微调成本基础下， PTS 往往较难稳定收敛。在本文中，我们提出了一种快速且可控的后训练稀疏算法FCPTS。通过结合可微稀疏率分配策略和可控的全局稀疏率优化目标，我们的方法可以快速准确地在几分钟内完成后训练中的稀疏率分配学习，同时确保收敛到预定的全局稀疏率目标。
报名成功
