在私有化部署的场景下,如何利用模型压缩技术降低模型的计算复杂度和内存占用,使得大模型能够在资源有限的设备上运行,以降低大模型的推理训练成本。
收起模型压缩算法能够有效降低参数冗余,从而减少存储占用、通信带宽和计算复杂度,有助于深度学习的应用部署。通道剪枝通过移除神经网络中冗余通道,达到加速神经网络推理过程和压缩模型体积的效果,还可以获得实际的加速效果,然而当前基于结构正则化的通道剪枝方法忽略了神经网络中连续层之间的关联关系。将结构正则化同时运用于连续网络层中相互对应的out-channels和in-channels,从而可以在更小的精度损失下,移除更多的冗余通道。在对指标影响较小的情况下,极大地提升深度学习模型的运行效率。