文摘

复发性神经网络(RNNs)已经成为语音识别等任务的重要工具,文本生成或自然语言处理。然而,他们的推理可能涉及数十亿美元的操作和大量的参数会导致大的存储大小和运行时内存使用。这些原因阻碍了这些模型的采用实时边缘应用程序。现场可编程门阵列(fpga)和专用集成电路(asic)已成为有前途的解决方案,这些算法的硬件加速,由于他们的定制程度计算数据路径和内存子系统,这使得它们的最大利用压缩技术的关心,定时和功耗。与广泛的压缩和量化研究平原前馈神经网络在文献中,很少有人注意减少RNNs的计算资源需求。这项工作提出了一种新的有效方法RNNs岗位量化的。特别是,我们专注于长期短期记忆的量子化(LSTM) RNNs和封闭的单元(格勒乌)RNNs复发。提出量化策略是一个详细的指南的设计定制的硬件加速器LSTM / GRU-based算法在FPGA上实现或ASIC设备只使用定点算术。我们应用方法LSTM /格勒乌模型pretrained IMDb上的情绪分类数据集和潘树图资料库语言建模数据集,从而比较每个量化模型和其浮点。结果显示实现内存占用减少高达90%的可能性在两种情况下,获得不到1%的损失在困惑的精度,即使很小的进步每一指标,分别。 The results are presented showing the various trade-offs between memory footprint reduction and accuracy changes, demonstrating the benefits of the proposed methodology even in comparison with other works from the literature.

1。介绍

深层神经网络(款)是现在非常受欢迎的工具,用于解决任何类型的任务,从金融和医药到音乐,游戏,和各种各样的其他领域。然而,推理的款可能涉及高达数十亿的操作及其参数的数量会导致大的存储大小和运行时内存使用量(1]。因此,特别关注了这些模型的硬件加速,尤其是当内存和功率预算的限制应用程序限制。这是实时的情况下,在应用程序(2),执行数据精化尽可能接近传感器为了保证效益的延迟和带宽(3]。现代的解决方案大多是使用嵌入式图形处理单元(gpu),现场可编程门阵列(fpga)和专用集成电路(asic)款硬件加速器的设计,选择在依赖几个权衡成本、性能和灵活性(4,5]。

gpu可以处理非常昂贵计算模型在一个灵活的方式,降低程度的定制的缺点从而导致过度的功耗,矛盾地与大多数边缘应用程序(6,7]。另一方面,asic和fpga的可能性给创建专门的硬件设计,可以减少功耗和面积的足迹在试图保持高吞吐量(8,9]。特别是,fpga硬件加速已成为一种很有前途的解决方案时提供一个良好的灵活性和性能之间的权衡(10- - - - - -12]。FPGA的解决方案的主要缺点在于他们有限的硬件资源,使复杂的硬件加速算法更具挑战性款(11]。缓解款存储和计算要求,从而成为一个关键的一步适合FPGA的资源有限的设备,为更有效的减少该地区的足迹ASIC-based加速器。与这个目的,许多方法已经从硬件和软件角度提出(1:技术量化和修剪等通常应用于神经网络硬件实现之前模型来降低复杂性。与广泛的压缩和量化研究平原前馈神经网络(如卷积神经网络),很少有人注意减少复发性神经网络的计算资源需求(RNNs) [1,13,14]。后者有微妙和精致的设计结构,使其量化更加复杂,需要更多的谨慎考虑对其他款模型。这项工作提出了一个新的有效的方法的详细描述RNNs的岗位量化。特别是,我们专注于长期短期记忆的量子化(LSTM) RNNs [15)和封闭的复发性单元(格勒乌)RNNs [16),在文献中被称为最精确模型的两个语音识别等任务(17),文本生成(18),机器翻译(19),自然语言处理(NLP) [20.),和电影帧生成(21,22]。提出量化策略是第一步的设计定制硬件加速器LSTM / GRU-based算法在FPGA上实现或ASIC设备。记住这个目的,显示各种权衡模型给出的结果是减少复杂性和模型精度的变化。用来量化的度量模型复杂性估计所需的内存占用的硬件实现量化后aLSTM /格勒乌加速器。总之,这项工作的主要贡献包括以下:(我)详细描述一种新的量化方法LSTM /格勒乌RNNs对能源/资源节约型友好这些模型在asic或fpga的硬件加速(2)软件实现LSTM /格勒乌量化层,符合Python Tensorflow 2框架[23]。(3)评价LSTM / GRU-based模型的性能量化后使用IMDb情绪分类任务和潘树图资料库(PTB)语言建模的任务

本文的组织结构如下:部分2概述状态的艺术有关LSTM /格勒乌模型和量化技术开发的文献中。部分3详细描述了该量化策略。部分4讨论了结果LSTM / GRU-based模型pretrained IMDb情绪分类数据集和肺结核语言建模数据集。部分5显示了该方法之间的比较和其他量化算法从文学。最后,部分6这项工作的结论。

2。背景

传统平原前馈神经网络方法只能处理一个固定大小的向量作为输入(例如,一个图像或视频帧),产生一个固定大小的矢量作为输出(例如,概率不同的类)通过一个固定数量的计算步骤(例如,数量的层模型)(24]。RNNs,相反,采用内反馈路径,使它们适合处理输入数据的维度是不固定的(24]。这种特性使得它们能够处理序列向量的随着时间的推移,保持“记忆”的结果之前的步伐,因此每个新的输出会产生与以往信息结合新的输入。

在许多类型的RNNs [25,26),最常用的两个是LSTM [15和格勒乌16]。特别是LSTM网络是为了解决梯度消失的问题,使标准的香草RNNs依赖输入序列的长度。另一方面,格勒乌越来越受欢迎,由于其较低的计算成本和复杂性。这项工作主要关注这两种RNN的量化方法,选择他们的支持率在文学,这样我们可以公平的比较。LSTM和格勒乌功能方案中描述的人物1和2。

淡黄色块构成所谓的盖茨,根据激活函数应用分为两类:双曲正切或乙状结肠(用符号表示σ)。浅红色块点态操作相关联。门机制使得这些RNN的一个很好的选择处理梯度消失的问题,因为他们可以长期依赖模型数据。关心LSTM细胞(图1),每个门的功能可以概括如下:(我)忘记门:决定哪些信息将被删除从细胞状态(2)输入门:决定它的输入值(即序列。输入电流,串联和之前的输出 )将有助于国家更新吗(3)单元门:创建一个向量的新候选值( )可以添加到状态(iv)输出门:决定细胞的输出通过结合信息更新的状态和当前输入序列( , )

四门信号,分别称为下标f,我,c,o。下面的方程描述的数学行为LSTM细胞(15]。

每个门都有自己的权重矩阵(和 )和偏见( )。 和分别是,增加(通过矩阵向量数量积)与当前输入向量从先前的步伐和细胞的输出 。+和∗符号是逐点的总和和产品操作,分别。

另一方面,格勒乌模型(图2)是一种明显轻RNN的方法,用更少的网络参数,因为只有三个盖茨使用:(我)重置门:决定过去信息的数量( )忘记(2)更新门:决定什么信息丢弃和添加新信息(代理类似的忘记和输入门LSTM)(3)输出门:决定细胞的输出

保持相同的约定符号,但盖茨下标r(重置),z(更新),h(输出),方程描述格勒乌细胞是以下16]:

由于周期性LSTM和格勒乌层,是非常困难的cpu来完成他们的并行计算27]。gpu可以探索小由于分支并行操作(27]。考虑到性能和能源效率、fpga和ASIC-based加速器可以构成一个更好的选择。

许多研究表明,定点和动态定点表示法是一种有效的解决方案来减少模型款要求关心内存,计算单位,功耗和时机,没有显著影响模型精度(28- - - - - -32]。fpga和asic是唯一的计算平台,使定制管线式计算数据路径和内存子系统的数据类型精度,这种优化技术的最大优势。

数据的过程意味着改变表示浮点和定点叫做量化,而且它可能独立应用(我)网络的权重(2)输入数据(3)输出数据

此外,近似技术可以应用在神经网络非线性激活函数与减少对它们的执行硬件复杂度的目的(33]。正如我们已经提到的,RNNs需要的内在结构的存在闭环路径,导致额外的约束,使他们的量化对其他款模型更加复杂。许多研究已经表明,RNNs可以利用压缩技术以及其他类型的模型。特别是,描述了不同的方法量化权重在训练阶段和数据的模型1,13,34- - - - - -42)或部门/微调过程(31日,43,44]。结果通常显示的可能性达到相应的精度但减少内存占用和计算复杂度,根据所选择的位宽的定点表示。最有效的内存占用减少是通过考虑二元,三元或四元量子化(1,34,35,45),其中只有2 - 4位用来表示重量和/或数据。Quantization-aware培训需要压缩深度知识模型(模型设计人员和硬件开发人员可能没有这样的专业知识),这大大增加模型设计工作和培训时间(46]。此外,原代码或整个训练数据训练可能不共享与模型压缩的工程师。由于这些原因,岗位量化的方法可能更可取一些真实世界的场景,用户想要运行一个黑箱浮点模型在精度低47]。大部分的作品的引用到目前为止展示他们的结果只关注量化对模型精度的影响,而很少关注如何给出量化策略能满足建筑考虑当处理硬件加速器的设计。另一方面,不同的研究使用的岗位量化方法与目的加速RNN推理在硬件平台上,从cpu (14,24]fpga (37,48- - - - - -50]。典型的策略是量化模型的权重只有[48,51]或另外数字转换的整个集合的一部分中间信号(38]。这导致了需要构建一个floating-point-based硬件加速器(27,52),或一个加速器组成的定点和浮点计算单元(51]。我们所知,一些作品在文献中提供足够的细节如何处理的障碍RNNs岗位量化当一个完整的fixed-point-based硬件实现。这项工作的目的是提出一个新的岗位量化方法,详细描述了为了给设计者有用的指导方针对fixed-point-based FPGA和ASIC实现的硬件加速器RNN推理。

3所示。方法

在本节中,我们的量化策略详细描述。下面的方法被实现为一个软件工具基于Python Tensorflow 2 API [23]。量化工具使用一个RNN浮点模型作为输入,并使输出量化版本的模型,它可以加速在硬件设备上利用fixed-point-arithmetic。更准确地说,uniform-symmetric [32量化是用于转换每个浮点值到它的整数版本 ,如方程3所示:

价值是与二进制补码的最低有效位(C2)表示的整数 ,将处理的硬件。de-quantized浮点值可以通过乘以通过 。独立的LSB值信号可以被选为2的幂(取决于所需的精度表示)或由想表示这些信号的比特数。一旦独立信号的LSB值被确定或选择,定点运算的规则必须考虑为了确定剩余的LSB值:(我)操作可以应用在两个整数之和拥有相同的LSB价值和结果将具有相同的LSB价值(2)产品操作可以执行数字有不同的LSB值( , ),但结果将其LSB价值由方程4:

RNN量化的具体情况下,必须考虑额外的约束除了那些已经声明。的确,闭环路径的存在(即需要一些反馈信号。、细胞状态或细胞输出 )要修改之前重新LSTM /格勒乌细胞。在一般情况下,我们可以考虑修改的可能性这些信号通过一个特定的LSB价值乘数应用方程5: 在哪里和分别是,LSB值单元格的输入和输出信号;是一个乘法因子,让与先前的步伐成为连贯的执行。特殊情况下的所有LSB值是2的幂,和LSB的假设值成为小从输入到输出的细胞,这个循环操作可以简单地由一个反馈信号的截断应用于定点表示(即。,减少一定数量的比特从右侧C2字符串)。通过执行截断操作,一个定点数的LSB价值变化如方程6所示: 在哪里是在截断和LSB价值决定了要截断的比特数。截断是一个非常简单的操作来执行一个自定义硬件加速器为asic设计/ fpga,将优势资源利用率和功耗方面对通用乘法器的使用。出于这个原因,从现在开始,我们将继续假设所有的信号网络的特点是2的幂,LSB值。一旦值是已知的所有信号在网络中,必要的位宽的定点表示( )可以通过方程计算7:

||构成的最大绝对值由通用信号运行时模型在整个数据集或它的一部分。由于信号动力学的分析,量化工具能够提供信息的硬件设计师必要的每个点的位宽利用网络。这在处理系统论变得尤其重要和LSTM或格勒乌细胞内的信号,因为他们的动态推理执行之前是未知的。另一方面,在激活函数的输出,信号动态是固定的。(= 1)和系统论是不必要的。进一步的细节给出了第二部分阐明我们的方法是如何工作的,特别适用于一个LSTM细胞(部分3.1)或格勒乌细胞(部分3.2)。

3.1。LSTM量子化

图3显示了别名给的LSB值在每个点LSTM细胞。

输入向量是量子化的和乘以权重矩阵代表盖茨(量子化的 )通过一个标量产品操作执行的大量增殖和积累(MAC)。偏差和LSB的值在每个门没有影响,但是偏见必须先验量子化的各自的定点求和规则前面提到的。

先后,激活功能应用、修改LSB价值因素(稍后将变得清晰)。最后,细胞状态(量子化的 )参加计算通过上面所示的点态操作数据通路。激活功能已经近似方法类似于[描述后33),每个函数变得线性段的组合。每一部分的特点是两个参数:(我)的倾向一个(量化 )作为一个倍增因子的激活函数的输入(2)一种偏见ß(量化 )要总结激活函数的输出

在我们的案例研究中,我们选择使用7段近似乙状结肠函数(相同的(33])和9段近似双曲正切函数,如图4。

对于一个简单的问题,我们选择使用一个独特的值一个系数的函数。两个近似函数的特征参数选择表进行了总结1和得到修复= 2⁻⁵。

各部分特征一直这样百分误差由使用近似函数而不是原始的保持在1%左右。图5显示了绝对误差得到输出的近似函数与原始的输出函数,在给定的输入范围(−6 6)。

它可以注意到,一旦激活函数的阈值被定义,MAC的动力输出信号可以是有限的减少必要的bit-widths表示(例如,乙状结肠之前= 5)。

假设下LSB值在LSTM的输出单元将小于输入的截断成为重要的反馈回路相一致。换句话说,由于截断操作,我们可以肯定,为后续执行RNN的步伐,输入数据( , )和细胞状态总是会用一个常数表示LSB的价值。这就解释了国家的存在截断和输出截断在图块3。可以插入额外的截断块为了减少中间信号位宽度,从而减少整个硬件占用和功耗。我们决定添加块截断点以黄色突出显示在图3,即,一个fter逐点的乘数和逐点的双曲正切后操作。橙色点位于乘数表明截断操作必须应用的尊重定点连续逐点的加法器的总和计算。换句话说,在对应的橙色点,没有自由度的设计师,不同于用黄色的点会发生什么。

考虑到目前为止,讨论以下方程必须验证正确的LSTM计算fixed-point-arithmetic硬件:

总之,构成我们的自由度的参数如下:(我) :用来量化的精度LSTM输入(2) :用于数字转换精度LSTM cellstate(3) :用来量化的精度LSTM权重(iv) , :截断后的比特数分别乘法器和逐点的双曲正切

节4更详细的权衡选择。

3.2。格勒乌量子化

关心格勒乌的细胞,可以为类似的考虑的起始条件和近似用于激活功能。然而,操作的顺序是不同的,描述与图中所示的新方案6。

在格勒乌的情况下,只有一个免费的截断(黄点)后可以个性化乘数,而其他三个约束(橙色点)是利用截断块。

描述量子化格勒乌细胞行为的方程如下:

的参数构成的自由度在这种情况下是:(我) :用来量化的精度格勒乌输入(2) :用于数字转换精度格勒乌状态(3) :用来量化的精度格勒乌权重(iv) :截断后的比特数

节4更详细的权衡选择。

4所示。结果

评价的量化方法,我们认为两个模型pretrained IMDb上的情绪分类任务的数据集和两个模型pretrained潘树图资料库(PTB)数据集的造型语言的任务。两个数据集的结果分别对待4所示。1和部分4所示。2。

4.1。IMDb结果

IMDb数据集包含了50000种不同的电影评论,和任务在于区分正面评价和负面的。数据集是从Python Tensorflow库加载23),限制了第一个10000个常用单词的词汇量。作为额外的约束,每个评论的长度是有限的或垫235字,审查平均长度在给定的数据集。

考虑浮点模型组成的(我)一个嵌入层萎缩从235元素32输入序列(2)32 LSTM或格勒乌细胞(3)完全连接层与一个神经元产生最终的二进制输出(正面/负面评论)

模型训练在40000年的一个子集评价和测试在10000年剩下的,给一个测试的准确性89.19% LSTM-based模型和90.24% GRU-based模型。这些值相比,精度得到了两个同样结构化模型LSTM /格勒乌层量化使用部分中描述的方法3。

以下4.4.1。LSTM IMDb结果

权衡分析进行了通过作用于以下参数: , , , , 。对于一个简单的问题,只有最重要的病例中这些参数的所有可能的组合。特别是,我们认为情况的特点是:(我) 尺寸精度等于的输出和逐点的乘数。通过这种方式,操作上执行规则允许的最小的比特数前面所提到的,和国家截断块是未使用的(2) 大小保持精度等于在最终的输出点态双曲正切操作(3) 值从2^-10年到2²和 , 值从2⁻¹⁰到2⁻⁶。这些范围被考虑到精度选择趋势:获得更大的LSB值导致精度值过低与原来相比,而较小的LSB不会引起额外的好处。

清晰的理解的结果,我们比较的精度指标的总减少内存占用(MF)所需的硬件加速LSTM层考虑精度和截断设置。曼氏金融度量确定考虑两个主要贡献:(我)网络的权值所需的内存占用。这可以通过方程估计10: 在哪里代表元素组合的数量输入,显示在模型中使用的细胞数量(组成的维数向量)。(2)中间信号所需的内存占用。在构建硬件加速器的假设一组寄存器坐落在每一块如图3(即。,cell inputs, gates output after truncation, pointwise operators result, cell state, cell output), this is the contribution of those registers on the total MF, considering the different bit-width每一个信号。

我们注意到,总MF的主要贡献是由权重。这意味着最小的情况下通常与曼氏金融大值。

必然地,我们组织数据修复夫妻的值( , )和评价精度/ MF值不同 。

获得的曲线如图7。

清晰,一些曲线一直隐藏的图,因为他们没有特定的趋势相比已经显示,造成重叠。我们把浮点模型的指标与FP下标(和 ),而量度有关量化模型表达下标“Q”(和 )。

考虑到各种情况下所示图,我们可以看到MF减少从64.1%到89.4%而浮点模型(= 272 Kb),而精度变化在0.3%和17%之间(= 89.19%)。

我们也可以注意到,关于重量精度的选择( )可以,在大多数情况下,导致显著的MF削减成本的精度损失可以忽略不计。特别是,有价值的结果是通过设置= 2⁻³,导致5-bits定点表示层的权重。

选择设置截断时就行不通 , 值大于2⁻⁷。在这些情况下,一个打火机截断方法需要实现像样的准确性,但无论如何获得比大多数曲线给出的结果是低效率的。此案给最好的精度/ MF权衡的特点是( , , )= (2⁻¹⁰,2⁻¹⁰,2⁻³),导致= 38.84 Kb(85.7%不到 )和= 88.86%(0.33%不到 )。

4.1.2。格勒乌IMDb结果

GRU-based模型的情况下,权衡分析进行了通过作用于以下参数: , , , 。

考虑用例的特征(我) 尺寸精度等于的输出逐点的乘数。这截断设置经验合理的证据表明格勒乌模型更合理的精度以其独特的反馈路径,因此需要更多的碎片(2) 值从2^-10年到2²和 , 值从2⁻¹⁰到2⁻⁶(相同的因素为LSTM案例研究)

曼氏金融指标是评价同样能够做到与LSTM,但由于不同格勒乌细胞结构的改变。特别是,权重的贡献减少(因为只有3门实现),成为:

画在图的结果8通过改变与固定的值(夫妻 , )。

即使GRU-based模型,我们量化方法导致显著减少MF(从61.4%到89.7%)对浮点例(= 204 Kb),而精度变化在0.01%和14.3%之间(= 90.24%)。曲线趋势显示特定的依赖值,这必须小于2⁻⁸找到例可接受1%的准确率下降。最好的精度/ MF权衡再次遇到了通过设置= 2³。最好的情况下的特点是( , , )= (2^-10年,2^-10年,2³),给=(下降0.01%)和90.23%= 34.94 Kb(减少82.9%)。

4.2。肺结核的结果

我们扩展我们的结果在锤头树银行(PTB)语料库数据集(53),使用标准的预处理分裂10 K大小的词汇量。训练数据集包含929 K令牌,73 K验证令牌,令牌和82 K测试。任务由一个序列的预测下一个单词完成20步伐。

公平的比较与现有的工作,我们认为浮点模型组成的(我)一个嵌入层萎缩到300的输入特性(2)300年LSTM或格勒乌细胞(3)一个完全连接层与10000个神经元产生最终的标签

模型训练考虑每个词的困惑(PPW)指标,这是一个指数多少“困惑”语言模型是预测下一个单词的时候。

PPW值获得的测试结果LSTM-based模型的模型是92.79和91.33的GRU-based模型。这些值相比,然后一直困惑得到两个等价结构化模型LSTM /格勒乌层量化使用部分中描述的方法3。

4.2.1。准备LSTM PTB结果

保持作为参考的讨论部分4所示。1肺结核LSTM-based模型,权衡选择下面列出:(我) 尺寸精度等于的输出和逐点的乘数。通过这种方式,操作上执行规则允许的最小的比特数前面所提到的,和国家截断块是未使用的(2) 大小保持精度等于在最终的输出点态双曲正切操作(3) 值从2⁵到2⁵和 , 值从2⁵到2⁰。这些范围被考虑到选择的困惑趋势:获得更高的价值严重妥协的质量模型。它可以注意到他们从IMDb是不同的案例研究。这是解释为不同的动力输入,状态,和重量信号。

获得的曲线如图9。

的图,我们可以看到从MF减少53.1%至84.4%,浮点模型(= 22650 Kb),而PPW变化在1%和38.5%之间(= 92.79)。即使是肺结核的案例研究中,我们可以注意到,有关权重选择精度( )是最重要的决定减少MF, PPW度量可以忽略不计成本的增加。另一方面,是影响PPW度量最:不同吗同时保持固定实际上产生广泛的曲线。我们选择在模拟的特点是( , , )= (2⁻⁵,2⁻⁵,2⁻¹),给= 93.75(0.96大于 )和= 7789 Kb(减少65.6%)。

4.2.2。格勒乌PTB结果

选择量化/截断设置如下:(我) 尺寸精度等于的输出逐点的乘数。与格勒乌模型不同于发生在IMDb,肺结核造型语言任务允许我们使用最小数量的允许位不失PPW度量(2) 大小保持精度等于在最终的输出点态双曲正切操作(3) 值从2⁻⁵到2⁵和值从2⁻⁵到2³,值从2⁻⁵到2⁰(相同的考虑为LSTM肺结核案例研究)

获得的曲线如图10。

在这种情况下,MF减少从59.4%到87.5%= 16987.5 Kb,而PPW变化在0.8%和9.2%之间(= 91.33)。它必须注意到一些曲线包含比别人少点。这是由于缺乏情况下产生一个独立LSB的组合值值大于1,不能用于正确代表信号的动态受限于乙状结肠和双曲正切激活功能。

有关肺结核GRU-based模型上的仿真任务显示,可以实现值小(因此)比 。这个结果意味着我们的岗位量化可以使质量度量模型的改进的任务。最好的PPW / MF权衡了设置( , , )= (2⁻¹,2²,2⁰),给= 90.57(0.76不到 )和= 4238.1 Kb(减少75.1%)。

5。与相关的工作

在本节中,我们做一个比较的结果提出量化方法和结果与其他文献中工作。基准最公平,我们考虑其他手稿与LSTM / GRU-based模型用于IMDb和肺结核的任务。表2分别显示了类似的结果如表3的比较。它必须考虑在这个基准可能没有模型之间的等价结构或培训策略。出于这个原因,我们比较关注的焦点不是原始浮点精度/ PPW,而是当应用量化指标的变化。

在表2,我们可以注意到,我们的方法会导致较小的负面变化比大多数其他作品,尤其是GRU-based模型。这种优势付出更大的成本bit-widths权重或激活,主要是由于提议的方法的不同性质的岗位,而不是基于quantization-aware培训。类似的考虑可以PTB案例分析表3。除了比浮点GRU-based模型实现更好的PPW版本,这是一个结果通过其他一些在这个领域工作。

注意比较的角度考虑bit-widths而不是减少MF因为其他作品实际上不考虑硬件的应用程序获得的量化模型。相反,我们的方法是考虑到后续的硬件实现架构的模型完全基于定点算术。

6。结论和未来的工作

款已经成为重要的工具模型非线性函数在许多应用程序中。然而,款的推理可能会导致大的存储大小和运行时内存使用量在边缘阻碍它们的执行应用程序,特别是在地区/电量有限资源有限的平台或应用程序。减少普通前馈款复杂性,技术提出了量化和修剪等在年。然而,很少有人注意放松RNNs的计算资源需求。这项工作提出了一个新的有效的方法的详细描述RNNs的岗位量化。特别是,我们专注于量化LSTM和格勒乌RNNs,两个最受欢迎的模型的性能在不同的任务。量化工具符合Python Tensorflow 2框架和转换浮点pretrained LSTM /格勒乌模型在定点版本上实现一个自定义为FPGA和ASIC设备硬件加速器。描述方法为所有的指导方针和规则之后,以位操作加速器中优化设计的最大优势。我们测试了我们的量化工具模型pretrained IMDb上的情绪分类任务和肺结核语言建模任务。结果显示可能获得高达90%的内存占用减少不到1%损失精度,即使很小的进步在PPW度量比较浮点对应每个量化模型。 We proposed a benchmark between our Post-training results and other works from the literature, noticing that they are mostly based on quantization-aware training. The comparison demonstrates that our algorithm affects models’ accuracy in the same measure of other methods. This comes at the cost of bigger bit-widths for weights/activations representation but with all the advantages of a Post-training approach. In addition, our work is the only one taking into account the hardware implementation of a fully-fixed-point-based accelerator after quantization, which is a valuable approach to improve timing performance, resource occupation, and power consumption. Future work will focus on the hardware characterization of our techniques in order to quantify the architectural benefits with respect to floating-point accelerators. In addition, quantization results may be extended to other RNN algorithms or other tasks to further demonstrate the portability of our methods.

数据可用性

使用的数据来支持本研究的结果包括在本文中。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

欧洲航天局资助的这项工作已经发现合同号码4000129792/20 /问。