文摘

还提出了数字图像的压缩技术与深层神经网络(款)采用修正线性单元(ReLUs)。我们倾向于利用款能力,找到一个合理的估计潜在的压缩/解压的关系。我们的目标是为一款图像压缩的目的,具有更好的泛化特性,减少训练时间,并支持实时操作。ReLUs这地图似乎更有道理的使用生物神经元,使我们的培训款明显更快,缩短了编码/解码时间,并提高其泛化能力。ReLUs建立一个有效的引入梯度传播,形成稀疏,提出网络和高效的计算使这些网络适合实时压缩系统。实验上执行标准的真实世界的图像显示,使用ReLUs代替物流乙状结肠单位加快培训款的明显收敛更快。客观和主观的重建图像质量的评价也证明我们款达到更好的泛化的大多数图像是从未见过的网络。

1。介绍

数字图像压缩中发挥着非常重要的作用在数字图像数据的传输和存储。通常与视觉信息的数据量很大,其存储需要巨大的内存和传播需要高带宽。图像压缩的过程有效编码数字图像减少所需的比特数来表示一幅图像。这个压缩允许传输的图像以非常低的带宽和最小化空间存储这些数据的要求。静态图像构成的连续帧的视频数据,用于二维静态图像压缩算法可以有效地扩展到压缩视频数据。图像压缩算法可以大致分为无损和有损压缩算法。无损压缩算法准确再现了原始图像的信息没有任何损失。这些方法应用在有数据丢失是无法接受的,例如,文本数据和医学图像。在本文中,我们将目标复制图像的有损压缩不是一个原始图像的复制品。在编码过程中会丢失一些信息。 These algorithms provide a way of tradeoff between the image quality and the degree of compression. The goal is to achieve higher degree of compression without much degradation in image quality.

人工神经网络(ann) [1- - - - - -3)让他们的灵感来自人类大脑的方式执行计算和决策。事实上网络倾向于模仿人类大脑的功能的,也就是说,生物神经元系统。安达到这种抽象和建模的人类大脑的信息处理功能连接大量的简单处理元素称为人工神经元。一个人工神经元是一个电子模拟生物神经元。一个真正的生物神经元的复杂性是高度抽象而建模一个人工神经元。主题是模拟人类神经系统的工作的帮助下这些人工神经元。为了实现这个每个人工神经元配备一些计算强度类似生物神经元的兵家必争之地。人工神经元就像一个生物神经元可以采取多种输入信号,然后基于内部权重系统产生一个输出信号,通常是作为输入发送到另一个神经元。图1显示了人工神经元的表示。

在这里是人工神经元的输入信号。每一个输入信号乘以权重的连接。这些权重是由,分别。所有这些产品都是总结和美联储的人工神经元激活函数来生成一个输出。设置一个安通过创建这些人工神经元之间的连接类似于生物人类神经系统中的神经元之间的连接,如图2。最近的事态发展在CPU的处理能力和神经网络的体系结构的发展吸引了许多研究者从不同的学科来调查这些网络作为一个可能的解决方案来解决遇到的各种问题领域的模式识别、预测、优化、函数逼近、集群、分类,和许多更多。人工神经网络也正在研发解决静态图像和视频数据的压缩问题4- - - - - -11除了传统的算法(12]。目标是实现高压缩比,最大限度地再现图像的质量,和设计系统,利用最小计算资源和支持实时应用程序。在这个工作我们尝试为这些目标深神经网络(13),也就是说,一个人工神经网络有多个隐藏层神经元的输入和输出层之间。这些款可以更有效地模型复杂的非线性关系。款的额外层使网络捕捉输入的高度变异的特性,了解更多更高的数据的抽象表示。款,其训练的常见问题是耗费时间,计算非常昂贵。在这个工作我们还是建议一款图像压缩,减少训练时间和计算效率。我们实现这款加速训练时间和减少复杂性采用修正线性单元(14]。这样的安排也会导致更好的网络的泛化和降低了真正compression-decompression时间。网络满足了目标保证良好的压缩系统;它收敛快,没有消失的梯度的问题,有一个稀疏表示的(只有部分网络活动对于一个给定的输入)。这些特征使提出的网络适合实时压缩系统。

剩下的纸是组织如下。部分2简要的概述文献关于图像压缩通过人工神经网络和州预赛。部分3介绍了款。部分4实验结果报告。部分5提供了本文的结论。

2。背景和预赛

几项研究已经提出了解决这一问题通过人工神经网络的数字图像压缩。最基本最简单的网络,即描述单一结构化神经网络,在4]。这个网络使用3 - layer网络与物流传递函数实现图像压缩。并行体系结构提出了神经网络用于图像压缩在5- - - - - -7]。这个想法是为了压缩图像的不同部分(即。,according to some complexity) by different neural networks in parallel in order to increase the compression ratio and quality of reconstructed images. In [8]小说作者提出使用归一化函数的单独的结构化神经网络来提高压缩质量。安计算离散余弦变换的图像压缩中描述(9]。作者在10,11)提供一个总结不同的神经网络模型和技术,如矢量量化神经网络可以补充与提高压缩的结果。

图像压缩的过程可以被制定为设计一个压缩机和减压器模块如图3,在那里是原始图像,是压缩数据,是重建图像。压缩数据的比特数远小于所需的比特数来表示原始图像。通常这些模块实现了大量复杂的算法有很多复杂的计算。之前所描述的许多研究都进行了近似图像压缩/解压缩模块的帮助下安通过生成一个内部数据表示。这些网络被训练在一些训练图像(输入-输出对),对应的任务被近似compression-decompression算法简洁和模型可以推广到一个大型的测试数据集。这是通过严格的帮助下学习算法训练网络。这个训练过程的特点是使用一个给定的输出相比,适应的预测输出和所有参数根据这个比较。神经网络的参数是它的重量。本文利用人工神经网络的反向传播训练。反向传播(15)是一种监督学习算法,尤其适合前馈网络。前馈神经网络是指多层感知器网络的输出神经元的去但不是前面的层后,所以没有反馈回路和信息流动只有一个方向。反向传播这个词缩写为“向后休会的错误”,这意味着错误(因此学习)向后传播从输出节点内部节点。因此反向传播是用来计算的梯度误差对网络的可修改的重量。这个梯度是用于一个简单的梯度下降算法找到权重,减少错误。反向传播是指整个过程包括两个梯度的计算和梯度下降法的使用。反向传播要求传递函数所使用的人工神经元(或“节点”)是可微的。图2显示了一个广义建筑安。神经元是紧密联系和组织成不同的层。输入层接收输入;输出层产生最终的输出。通常一个或多个隐藏层夹在两者之间。

3所示。提出了图像压缩深层神经网络

摘要数字图像压缩是通过深层神经网络,采用修正的线性单元。款的多个隐藏层有利在底层的实现更高效的内部数据表示compression-decompression函数。研究人员得出结论,生物神经元可以更好的近似和ReLUs建模。因为这些生物ReLUs更合理的他们可以进行更好的激活函数比广泛使用物流乙状结肠和双曲正切函数。ReLU给出的 在哪里是神经元的输入。良好的线性函数表现兴奋性输入模式和“0”。我们可以看到函数单侧;它并不拥有财产的对称性和反对称性。函数是没有可微的“0”和它的导数,只要它存在,只能取两个值,“0”或“1。“尽管ReLUs并非完全可微的,他们也不对称,具有线性可以超越乙状结肠和双曲正切神经元。实验表明,ReLUs值得权衡这些更复杂的计数器部分。他们允许快速收敛和更好地推广款。这些ReLUs计算便宜得多。所需的高效计算它的价值及其偏导数使更大的网络实现。 Engaging ReLUs induces sparsity in the network; that is, only a subset of neurons are active in the hidden layers. This leads to faster computation and better learning. Other advantages of sparsity are discussed in [14]。款与ReLUs仍然用于图像压缩图所示2。网络由一个输入层,隐藏层和输出层。这个网络是针对图像压缩/解压它必须有相同数量的输入和输出神经元,(一个维的输入映射到一个维输出)。的数量在输入层和输出层神经元对应于图像块的大小被压缩。压缩可以通过允许在最后隐层神经元的数量,小于,神经元的输入和输出层。隐藏层和隐藏的神经元的数量是由输入和输出神经元的数量以及所需的压缩比。这款的压缩比是输入神经元的比例在过去隐藏层神经元的数目。

款的训练进行一组图像训练集的选择。训练图像分为不重叠的块大小通过像素。每一个块中的像素归一化功能正常化,通常从一个灰度值在0和255之间的值在0和1之间。这些标准化的块被送入的输入层随机款;输入层中的每个神经元对应一个像素;也就是说,。在监督学习网络的期望输出值的情况下是提前知道,图像压缩的目的是一样的网络的输入。我们倾向于解决网络产生的输出输入它看到什么。当我们使用反向传播训练款,实际输出和期望输出值之间的差异计算和误差向后推动网络的参数进行相应的调整。再用新的权重输出计算并与所需的一个,repropagated错误,参数调整,继续以迭代方式的过程。在我们的实现中款的训练时停止迭代达到最大限度或平均均方误差低于某个阈值。完成网络的训练后,网络的参数保存。我们与这些确定权重利用这款测试图像压缩和解压。测试图像被压缩分为不重叠的街区。每一块送入正常化后网络的输入。 The input layer and the隐藏层作为压缩机模块和执行一个非线性和非正交变换。被压缩的数据发现最后一个隐层的输出。输出层充当减压器模块和建构规范化输入数据块进行第二次转换。可以找到解压图像块在输出层神经元的输出。恢复重建的数据块的动态范围运用逆归一化函数。的转换和优化了培训网络在一些图片。

4所示。实验结果

实验进行测试标准集的图像拍摄的图像:莉娜,狒狒,摄影师、胡椒粉,和船只。测试图像的大小是512到512年。神经元的数量输入层、输出层,和最后一个隐层是调整来实现不同的压缩比,也就是说,4:1,8:1,和16:1。时代和均方误差(mse)曲线采用纠正款线性神经元和神经元物流乙状结肠绘制了不同压缩比(CRs)和图所示4- - - - - -6。

这些情节的比较表明,用款ReLUs收敛速度比好几个数量级的物流乙状结肠单位。这个事实如图7表明,减少mse 0.0019款的乙状结肠神经元需要500时代在相同的均方误差是通过款ReLUs 50后时代的CR 4: 1。同样需要500时代的乙状结肠神经元减少mse的CR 0.0039 8: 1,也是达到了35岁后由用人ReLUs时代。这么高的收敛速度验证的事实与ReLUs火车比物流同行快得多。

网络的性能测量的峰值信噪比(PSNR)的图像重建在输出层和被定义为 在哪里是图像的最大可能的像素值和的均方误差 在哪里和代表图像的尺寸在水平和垂直的维度,分别是原始图像,是重建图像。表1- - - - - -3显示五个标准的PSNR通过一组现实世界图像压缩(i)在不同压缩比的修正线性款和(2)物流乙状结肠款。款被训练使用相同的数据集和反向传播算法。有显著改善重建图像的PSNR值修正线性单位相比,物流单位。这个结果证明更好的泛化能力,我们的网络与ReLUs没有序列表1- - - - - -3款用于培训。

解压图像的主观质量评估数据8- - - - - -10展示一些原始图像和重建的同行。

5。结论

在本文中,我们使用一个深神经结构的静态图像压缩的目的。提出学习款压缩/解压功能很好。我们提倡使用这款ReLUs这些单元可以实现非常简单的函数。他们大大加快网络的收敛性,廉价的计算,具有更好的学习特点。实验表明,这些网络训练速度和总结更好;因此我们认为这个网络可以实现实时压缩系统。未来的工作在本研究将利用专门的硬件上实现这些款也像gpu和视频数据的压缩扩展这个想法。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项研究得到了MSIP(科技部、ICT和未来规划),韩国,根据项目技术开发的信息沟通和广播(2014-044-057-001)。