文摘
强大的深度学习架构的出现导致了突破性创新在几个领域,如医疗、精准农业、银行、教育、和更多。尽管优点,有限制在资源受限的设备上部署深度学习模型由于其巨大的内存大小。本研究工作报告一个创新混合压缩管道压缩神经网络利用z分数重修剪的未开发的潜力,其次是量化使用DBSCAN聚类和哈夫曼编码。该模型已经尝试用最先进的LeNet深层神经网络架构使用标准MNIST和CIFAR数据集。实验结果证明DeepCompNet的压缩性能26 x在不影响精度。的协同融合压缩算法在神经网络的模型将确保轻松部署利用DL应用程序在内存受限的设备。
1。介绍
人工智能(AI)已成为近年来非常流行的以其广泛的应用于人类生活的每一个走。深入学习人工智能的一个分支,旨在建立预测神经网络(NN)模型求解复杂的现实问题。这引发了严谨的研究对实现鲁棒神经网络模型学习众多数据密集型应用在各种领域。然而,神经网络模型遭受重大挫折从巨大的内存大小和高时间复杂度。建立一个神经网络模型包括从极大的学习样本数据通过培训过程。这包括无数的乘法的权重,偏见,和输入在每一层放一个巨大的开销在训练时间和能源消耗。
此外,训练模型消耗相当大的内存带宽使得它不可行等在资源受限的设备上部署嵌入式和移动系统。由于这一点,研究是针对神经网络模型的压缩。然而,模型压缩的主要挑战是减少模型大小没有显著损失精度。压缩技术发挥了重要作用在降低内存带宽减少文件大小利用冗余和不合时宜。
一般来说,深层神经网络有足够的冗余,这主要是由于overparameterization。模型复杂性出现由于许多hyperparameters,具体重量和偏见,调整对准确预测。神经网络模型的压缩主要依赖修剪和量化权重为消除不相关的神经元有更大的范围和弱连接。
神经网络模型压缩的越来越重要煽动许多研究人员研究创新和可伸缩的压缩方法。压缩模型背后的基本想法是创建一个稀疏网络消除不必要的连接和权重。各种研究模型压缩使用重量修剪和量化1- - - - - -3),低秩分解(4- - - - - -6蒸馏[],和知识7- - - - - -10]。通常情况下,量化和低秩分解方法应用于pretrained模型;然而,知识蒸馏方法只适合从头开始培训。
汉等人提出了一个先进的深度压缩框架迭代权重调整和重新训练神经网络的有效压缩。除了修剪,量化训练有素的权重是通过重量进行共享使用k - means聚类算法和哈夫曼编码为提高压缩率。他们尝试框架AlexNet、VGG16 LeNet架构和实现压缩率35 x, x 49,分别和39 x。因此,该框架已大大减少存储消耗内存架构的要求,从而使其可行的移动和嵌入式设备上容易实现。卓越的成就的基础上深度压缩模型,这项工作已经成为一个标准参考模型所有quantization-based压缩方法(1]。
Iandola等人设计了一个新颖的CNN压缩框架,SqueezeNet,实现压缩通过50 x参数精度的前提下尽可能使用ImageNet AlexNet上。他们提高了效率SqueezeNet采用Dense-Sparse-Dense (DSD)方法和提高精度2]。等人开发了一个以优异的压缩编解码器的神经网络利用变换编码(3]。吴等人的数量减少乘法引入稀缺通过矩阵分解(4]。劳伦斯等人介绍了一个新颖的神经形态架构简化矩阵乘法操作在神经网络(5]。
钟等人提出了一个在线知识蒸馏方法类的知识转移概率和特征映射使用敌对的培训框架(7]。程等人提出了一种基于知识蒸馏的任务相关的方法与量化分析(8]。坎昆和双关语设计深层神经网络的框架使用联合学习,启发知识蒸馏。结果表明,修剪网络恢复了蒸馏执行比原来的网络知识(9]。
拟议的工作探索基准压缩技术的应用类似于(1)减少模型的大小通过修剪和量化。
论文的新颖性包括以下主要贡献:(我)一个有效的模型压缩框架的发展(2)介绍z分数的修剪重量(3)体重DBSCAN聚类共享的应用程序
剩下的纸是组织如下。部分2解释的基本流程与相关文献提出的模型,连续部分紧随其后3描述了该模型。部分4介绍和讨论结果,以及部分5结论与未来研究方向。
2。相关的工作
2.1。修剪
修剪神经网络是一个基本的但有效的策略,删除不相关的神经元突触和获得神经网络配置。
在修剪过程中不必要的重量是修剪产生的紧凑表示有效的模型。然而,应该小心,由此产生的稀疏矩阵不影响体重的性能模型。修剪一个简单的基本战略是,权重低于特定阈值被认为是低贡献权重可以修理和调整通过培训来保护网络精度。这个过程重复迭代,直到稀疏模型,如图1。
网络修剪方法可以大致分为非结构化和结构化的方法。微不足道的重量与非结构化修剪消除pretrained网络。这些方法通过引入稀疏约束减少权重的数量。相反,结构化修剪是粗粒度的,删除卷积层中的重要特征图。一般来说,网络模型计算成本降低压缩比增加。完全连接网络,计算成本比率大约是近似重量压缩。提出了几种架构和特定于体系结构的修剪方法近年来(11- - - - - -20.]。
吴等人采用微分进化策略基于修剪修剪重量每一层的敏感性。他们的模型大大减少了权重的数量时,尝试了流行的网络,即lenet - 300 - 100, LeNet-5, AlexNet, VGG16 [14]。曾和Urtasun提出一个模型使用多层压缩AlexNet修剪(MLPrune)方法和VGG16架构(15]。田等人描述了一种可训练的二进制的深层神经网络协作层分配给每个过滤器的修剪过程神经网络(16]。
汉等人介绍了切换器神经网络(SNN)结构优化权重在CNN架构使用MNIST CIFAR10, Mini-ImageNet数据集。获得的模型更好的分类精度有两个不同的体系结构,即letnet5 -咖啡- 800 - 500和VGG [17]。张等人只有探索非结构化修剪的框架通过保留相关特性和重要的深层神经网络权重(18]。
东和Mori发达算法Learning-Compression (LC)框架,尝试了不同的pretrained模型。结果显示,在所有的pretrained模型,VGG16更好的压缩与修剪,而量化更适合ResNet [19]。金等人提出了一个神经网络压缩方案使用等级配置浮点(FLP)操作的数量减少了25% VGG16网络模型和改进的精度0.7%相比基线(20.]。
2.2。量化
下降的量化过程压缩模型代表权重或激活的比特数和非常成功在减少神经网络的训练和推理时间模型。压缩模型的有效途径是标量量化数字转换多个参数一个标量值。最近,有两个主要参数量化研究方法:加权共享,共享许多网络权重,第二基于较低的重量表示减少。在深层神经网络模型权重的主要数值格式是32位浮点数或FP32。许多研究工作取得了8位体重表示通过量化精度的前提下21- - - - - -32]。
李等人提出了一种有效的方法,“Bit-Quantized-Net,”量化输入重量训练和测试阶段。霍夫曼编码基于前缀编码应用于压缩权重。这个模型已经尝试了三个数据集,MNIST, CIFAR-10 SVHN,结果显示8%的减少损失基本模型(24]。weight-sharing战略最初是用于加速探索架构,认为神经结构的初步成功的一部分搜索(NAS) [25,26]。
Dupuis等人降低了网络的复杂性通过逼近神经网络权重layer-wise使用线性近似和集群技术(27]。Tolba等人建议软体重分享这是另一种类型的量化,结合重修剪阶段生成压缩模型。实验证明weight-sharing模型实现16位体重降低量化相对于基线的32位浮点表示未压缩的权重矩阵(29日]。
蔡等人设计了一种有损压缩模型权重量化神经网络。该模型采用矢量量化源编码和实现更高压缩比的47.1倍和42.5倍,分别在AlexNet (ImageNet训练)和ResNet (CIFAR-10训练)31日]。谭和王clustering-based量化描述使用稀疏正则化,以减少大小款语音增强模型压缩管道过程(32]。
2.3。无损压缩
一般来说,分为无损和有损压缩技术。无损压缩技术数据利用固有的冗余数据分布,而有损压缩技术实现通过消除无关紧要的小发生信息丢失的数据。无损数据压缩产生的具体版本的原始数据流进行编码。一些流行的无损压缩算法运行长度编码(RLE),哈夫曼编码和LZW编码(33]。哈夫曼编码是一种常用的无损压缩编码技术,达到最优使用可变长度的前缀代码。常出现符号编码比特比罕见的较少,因此非常适合冗余数据分布(34- - - - - -36]。此外,编码和解码流程很简单实现没有多少增加复杂性。霍夫曼编码的编码过程如图2。
文献表明,大多数模型的压缩算法为posttraining模型使用无损编码压缩(1,2]。模型压缩框架的主要挑战是大小没有显著的减少对精度的影响。
3所示。材料和方法
本研究采用先进的深度压缩模型由汉族et al。1)作为基准模型和新的修剪重量和体重共享策略适用于增强压缩性能。
3.1。材料
该模型已经尝试了LeNet架构LeNet - 300 - 100和LeNet-5使用MNIST和CIFAR-10数据集。
le -网- 300 - 100是一个多层感知器和两个隐藏层,各有300和100个神经元。勒存LeNet-5是卷积神经网络设计的et al。37]。模型由七层:两个卷积的5×5层过滤器,三个完全连接层,和两个二次抽样层。
MNIST由70000灰度级28×28像素的图像手写数字从0到9分为十类。数据集分为60000和10000年的训练集和测试集,分别。
CIFAR-10数据集是一种广泛使用的图像数据集由加拿大先进的研究所试验ML算法在计算机视觉的应用程序。它包含60000 32×32 RGB图像分为十类与6000图像在每个类。
3.2。方法
该模型DeepCompNet架构压缩框架包括三个主要阶段:体重修剪,量化,无损编码。
3.2.1之上。第一阶段:使用z分数重修剪
我们用一个细粒度的方法消除不重要的权重通过引入修剪阈值。基线模型(1]标准差(SD)作为阈值用于修剪权重量化紧随其后。所有重量低于零重量分布的标准偏差,从而减少非零(活着)节点的数量。网络修剪修剪后,有趣的是,模型的准确性不是妥协。
提出压缩框架中,我们使用的重量分布稀疏的z分数权重矩阵。z分数,也称为标准分数,国家基于其原始分数的位置距离意味着38]。z分数是正的,如果原始分数高于均值和消极。z分数(z我每个重量)计算使用公式给出以下方程: 在哪里是我th当前层的重量µ和σ权向量的均值和标准差,分别。
我们表示的函数f(x, )神经网络的体系结构和重量修剪过程表示为数学变换见以下方程: 在哪里W′代表了新的权重后生成使用修剪修剪约束 。它被定义为z得分的绝对值的意思是(z我)“n“重量输入权向量(W)中给出以下方程:
我们将介绍作为灵敏度参数规范化修剪阈值。不同的价值观产生不同的修剪百分比和最好的价值被认为是对我们的实验。
介绍了稀疏的权重通过二进制掩码定义为“t“修复的一些参数为0使用两个以下方程:
重修剪DeepCompNet被定义为的过程 ,“”被定义为阿达玛element-wise乘法操作符。
图3描绘了修剪阶段的流程图。
如果“一个“是活着的数量(非零)权重修剪后,“p”是每个重量,所需的比特数和“n“权重的总数,压缩率(C修剪后评估使用以下方程:
通常,每个神经网络所需的比特数重量(p)将32位。因此会有大幅减少修剪后的一点要求储存重量阶段中演示部分4。
3.2.2。第二阶段:通过重量共享量子化
一般来说,权重Φ我组中的量化成相应的簇的质心weight-sharing过程。汉et al。1)最受欢迎的k - means聚类算法,应用划分聚类方法的体重共享使用欧氏距离进行分组最接近的重量。
在这个模型中,我们实现了DBSCAN,体重分享density-based聚类算法。尽管成就更好的压缩率,很明显的文学k - means只适用于球形星团,不能处理离群值大大影响集群的质量。然而,基于DBSCAN集群密度连接形式分两个参数,Eps (ε),附近的半径和Min.pts (米),每组的最小数量的点。使用体重DBSCAN共享的原因是双重的。首先,它是健壮的离群值;第二,先天的决定簇的数量不是必需的。除了上述优点DBSCAN的k - means,它给好的结果为各种不同的分布。DBSCAN算法的步骤是枚举算法1。
|
训练集的权重DBSCAN算法模型作为输入,返回核心点,也称为集群重心。聚类质心的集合形成了电报密码本。每个集群重心由所有的权重在同一个共享集群,最终导致权重的量子化。聚类的质量随不同价值观的每股收益(ε)和Min.pts (米)。从我们的实验观察,发现上述参数的最优选择是架构,dataset-specific章节中讨论4。第二阶段的流程图是概略地如图4。
如果米posttrained权重分配的数量吗k集群,压缩率后体重分享会 ,“p”和“日志2k”的一些要求是代表每个重量和集群指数,分别。
3.2.3。第三阶段:无损编码量化权重
最后阶段使用霍夫曼编码编码量化权重生成第二阶段如图5。编码过程首先清单的重量/符号nonincreasing顺序发生的频率。随后,分支机构的两个符号的最小频率发生合并与赋值0和1的顶部和底部分支,分别。这一过程持续进行直到没有更多的符号了。使用霍夫曼编码的大优势weight-sharing阶段后,固有的冗余是量子化的权重指数(密语)和代码。经常发生密语需要更少的比特进行编码,这个阶段产生更高的压缩储蓄(39]。
整个流程的三级压缩管道如图6对视觉的理解。
4所示。结果与讨论
实验使用蟒蛇软件,执行一个开源框架运行Python程序离线。提示配置必要的深度学习和机器学习库文件,如TensorFlow Keras, NumPy,熊猫。提出压缩架构LeNet架构使用两个数据集上进行实验,MNIST CIFAR-10,表中列出的标准网络参数1。
4.1。lenet - 300 - 100
我们第一次lenet - 300 - 100上运行的实验学习速率为0.001 MNIST和CIFAR-10数据集。为了说明开发模型的性能在每个阶段之后,级间研究的结果发表在表2- - - - - -4lenet - 300 - 100。我们计算了基于z分数修剪阈值对不同的灵敏度值“ηρ“在0.25 - -3.5的范围和修剪的性能记录。它已经被发现ρ= 2.3比例达到良好的修剪。该模型和参考模型(1)不压缩偏差参数。
表2显示了压缩率和准确性达到修剪后不同时期和结果表明,最大精度已经达到25时代MNIST和CIFAR-10数据集。最好以粗体显示的值为每个度量值。
从表也是显而易见的2该压缩管道达到中等精度和良好的压缩率的17.72和18.58 MNIST和CIFAR-10数据集,分别为10时代。
同时,该模型试验了不同批量大小和这项研究的结果发表在表3。95.87是最好的精度达到128批大小。
(一)
(b)
DeepCompNet layer-wise压缩统计数据的lenet - 300 - 100表所示4及其图示如图8。
表4和图8表明,更高的修剪目睹了所有三个完全连接(FC)层与MNIST数据集,而更好的修剪是只有在FC1 CIFAR-10数据集层。
该模型研究DBSCAN的使用重量共享。我们运行的DBSCAN算法不同价值观的Eps和Min.pts分析对精度的影响如表所示5。我们Min.pts的值设置为1的异常值的影响减到最小模型的整体性能(表5)。
值得注意的是,0.0006每股收益的价值收益最佳的准确性。同样值得注意的是,k - means聚类提出了(1体重32]使用固定数量的集群共享,而集群形成的数量DBSCAN随不同的权重,因此发现自然固有的重量分布的集群。任何聚类过程的输出是一个码书代表一组集群质心指数与各自的代码。如果“k“是集群生成的数量和“米“活着的总数权重修剪后,weight-sharing过程可以被定义为一个映射的“米“权重”k“集群重心等k<米,导致标量量化。
表6和图9展示的效果量化权重的准确性使用参考基准模型和提出的压缩管道。
量化权重进一步压缩在阶段3和使用霍夫曼编码压缩节省不同管道中描述表7。
这是明显的从表7提出压缩框架实现压缩率比经典的参考模型(1在不影响精度。
4.2。LeNet-5
DeepCompNet尝试使用MNIST LeNet-5体系结构数据集和CIFAR-10数据表中列出的网络参数1。修剪效率而言,活着的权重和准确性提出了不同的时代和批量大小的表8- - - - - -10。
分析上述表直观地表示在图10。透露,该压缩模型达到中等CR的1.3和良好的精度98.74 25时代和250批大小MNIST LeNet-5架构的数据集在修剪阶段。相反,该模型达到良好的CR CIFAR-10精度数据集,但明显的损失。表10显示了LeNet-5 layer-wise修剪压缩统计数据架构图及其图解表示11。
(一)
(b)
正如在前一节中所讨论的,DBSCAN的效率在weight-sharing阶段位于每股收益的最优值和Min.pts反过来取决于重量分布。我们尝试不同的值MNIST数据集如表所示11和推断,每股收益= 0.0001产生良好的结果k= 33。
我们比较之前和之后获得的准确重量与参考模型(共享通过拟议的框架1LeNet-5表)12和它的图形化分析是在图12。
由于霍夫曼编码压缩储蓄LeNet-5建筑如表所示13。
的比较结果提出DeepCompNet模型和现有神经网络压缩技术总结表14。
表14展示了性能优越的提议DeepCompNet相比类似压缩框架。此外,很明显,该模型取得了较好的压缩率lenet - 300 - 100体系结构。
我们尝试提出了CIFAR-10 VGG19 DeepCompNet模型体系结构的数据集,结果并没有显示出良好的压缩储蓄和准确性。
结果分析表明更好的性能DeepCompNet实现良好的压缩和准确性LeNet架构,具体数据集与MNIST LeNet - 300 - 100。然而,它产生的性能相当与LeNet-5相比类似压缩框架。模型的性能可以进一步加速在GPU执行架构。
5。结论
在本研究中,我们提出了一个新的压缩管道,DeepCompNet,冒险小说神经网络压缩的压缩策略。新奇的建议框架依赖于使用z分数重修剪重量和健壮的density-based集群DBSCAN共享。我们工作的主要挑战是找到最优值参数Eps (ε)的DBSCAN算法和它被发现是特定于体系结构的。拟议的模型试验了LeNet架构使用MNIST和CIFAR-10数据集,和结果显示类似的压缩性能与最近类似的工作在不影响精度。此外,修剪过程使用z分数很简单实现,因此将是一个可行的框架,在资源受限的设备上部署。提出了压缩框架非常适合LeNet架构。我们的未来研究方向将微调DeepCompNet其他CNN和RNN架构与不同的数据集。此外,推理模型的速度将会加快使用并行体系结构。
数据可用性
数据集MNIST和CIFAR-10用于我们的实验可以在doi:10.1109 / MSP.2012.2211477和doi:10.1109 / ACCESS.2019.2960566,分别。
信息披露
先进的图像处理的实验进行了DST-FIST实验室,计算机科学与应用、农村Gandhigram研究所(被认为是大学),Dindigul。
的利益冲突
作者宣称没有利益冲突。