文摘

随着红外(工业革命)4.0,传感器在物联网的传播(物联网)可能产生大量的数据,这将挑战存储和网络带宽有限的传感器。因此,大数据压缩的研究是有价值的领域的传感器。一个问题是如何有效地压缩长河中数据的有限内存的一个传感器。保持性能,传统的压缩技术有治疗数据流规模小而无能,这将降低压缩比。为了解决这个问题,本文提出一种block-split编码算法命名为“CZ-Array算法”和实现共享软件名为“ComZip。“CZ-Array可以使用一个相对较小的数据窗口覆盖一个可配置的大规模,这有利于压缩比。它快速的时间复杂度O (<年代pan class="nowrap"> ),适合大数据压缩。实验结果表明,与CZ-Array ComZip可以获得一个更好的比gzip压缩比,lz4, bzip2,和p7zip多个流数据压缩,它也有一个称职的速度在这些通用数据压缩软件。此外,CZ-Array简洁,符合传感器的硬件并行实现。

<年代pan class="end-abs">

1。介绍

随着红外(工业革命)4.0和下面的快速扩大物联网(物联网),大量的传感器可以在各个领域,这将产生大量的数据。4.0红外的灵魂,物联网与智能决策和控制依赖于这些有价值的数据。但传播传感器的智能系统数据也带来问题,特别是在WSN(无线传感器网络)和宝贵的带宽。由于有限的存储容量和网络带宽,GBs或TBs数据传感器在物联网使一个巨大的挑战。

数据压缩是一个可取的办法减少存储消耗,加快交通网络。在实践中,流数据被广泛用于支持大数据量超过最大存储一个传感器。例如,传感器与HD(高清)相机可以处理的视频数据流,尽管小内存。在大多数情况下,很多传感器在同一区可能产生类似的数据,可以收集和压缩流,然后传输到后端云平台。

本文关注的是传感器的压缩计算严格要求低消费,快速编码,和节约能源。这些特殊要求排除大部分不压缩算法。我们注意到无损压缩,因为它是一般。即使是有损压缩系统通常包含一个熵编码器作为终端设备,这取决于无损压缩。例如,在图像压缩、DCT(离散余弦变换)算法(1)需要无损压缩。一些有损压缩算法可以避免熵编码器,如圣言(奇异值分解)算法(2),但他们通常消耗更多的计算资源和能源比无损压缩。

一个问题是关于有限记忆长河下各个传感器的数据。传感器必须压缩gb的数据或更多,而传感器只有MBs的RAM(随机存取内存)或更少。在大多数传统的压缩算法,压缩率取决于数据窗口的大小,内存的容量是有限的。保持性能,传统技术把数据流规模小而无能,这将降低压缩比。

例如,2 MB的数据窗口看不到2 MB的流数据一次;因此,压缩算法不能合并数据内外这个窗口,即使他们是相似的和可压缩。窗外规模限制的压缩率。不幸的是,由于有限的硬件性能和能耗的传感器,很难扩大长河中数据压缩的数据窗口。

此外,物联网中的多个数据流是常见的,如双摄像头视频数据也推出,这些流可能冗余数据,应该被压缩。但自从小的数据窗口能看到一点点流的一部分,它怎么能看到更多流,这样就可以合并吗?

在我们之前的论文中,我们设计和升级压缩格式命名“CZ格式”可以支持1 TB的数据窗口(或更大)3,4),它在我们的压缩软件名为“ComZip实现。“但传感器的RAM仍然限制了数据窗口大小。并使用闪存来扩展数据窗口是不好的,因为压缩速度会明显下降。

解决问题的长河中数据压缩和数据窗口大小有限,本文提出一种block-split编码算法在ComZip“CZ-Array算法”,并实现它。CZ-Array算法具有以下特点:<年代pan class="list">(1)它将数据流分为块和重建的时间复杂度O (<年代pan class="nowrap"> )所以数据窗口可以覆盖更大的范围以适应大数据压缩(2)它构建一组匹配链接加快LZ77压缩算法(5从O(),降低了时间复杂度<年代vg height="8.8423pt" id="M3" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 2)O (<年代pan class="nowrap"> )(3)它简洁的硬件设计LZ77编码器管道,所以传感器可以使用并行硬件加速LZ压缩

我们做一些实验平台x86/64和手臂(先进的RISC机器),比较之间的数据压缩效率与CZ-Array ComZip, gzip、bzip2, p7zip lz4。实验结果表明,与CZ-Array ComZip可以获得最好的压缩比在这些通用数据压缩软件的多个流数据压缩,和它也有主管速度。此外,算法分析推断CZ-Array简洁,符合传感器的硬件并行实现。

进一步的实验中,我们在网站上提供2版本的ComZip: Ubuntu Linux (x86/64平台)和Raspbian (ARM平台)。其他研究人员可以下载它们http://www.28x28.com: 81 / doc / cz_array.html。

本文的其余部分的结构如下:

部分2表示传感器的长河中数据压缩问题。部分3介绍了CZ-Array编码的算法。部分4分析CZ-Array算法的复杂性。实验结果给出了部分5。结论给出了部分6。

2。传感器的长河中数据压缩问题

视频/音频或其他特殊传感器在物联网可以生成长河中数据,但数据传输的瓶颈,存储和计算网络的传感器需要消除。数据压缩满足这个需求。图1显示了一个典型的场景在网络轻和重传感器,在长河中生成的数据。


图1
轻型和重型传感器网络。

这个网络有很多轻量级节点情况和生成长河中数据。因为他们有有限的能量、存储容量和计算资源,他们既不能保持数据在本地也不能让强大的压缩。与此同时,几重网络中的节点可以收集和压缩数据,以减少长途带宽,然后传输到后端云平台。云平台有足够的资源存储、减压和分析数据。

在我们之前的论文,我们已经讨论了沉重的大数据压缩和加密网络中传感器节点(4,6),但如果重节点压缩长河中数据,我们仍然有问题有限的内存,能源消耗,速度和压缩比。本文主要关注以下问题:<年代pan class="list">(1)有限的数据窗口大小;如何覆盖更大的范围来看到更多数据流到一个更好的压缩比?(2)保持压缩比基本不变;如何提高压缩算法的速度?

在我们之前3]和[4),我们已经表明,一个较大的数据窗口可以获得更好的压缩比。在本文中,我们仍然使用相同的压缩比的定义如下:<年代pan class="equation_break" id="EEq1">

和<年代vg height="8.68572pt" id="M7" style="vertical-align:-0.0498209pt" version="1.1" viewbox="-0.0498162 -8.6359 10.095 8.68572" width="10.095pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 是压缩的卷和原始数据,分别。如果不压缩原始数据,<年代pan class="inline_break"> 。如果压缩数据大于原始数据,<年代pan class="inline_break"> 。总是<年代pan class="inline_break"> 。

压缩算法可以合并相似的数据片段在一个数据窗口。因此,一个较大的数据窗口可以看到更多的合并数据和有更多的机会。但是数据窗口大小容量的内存是有限的。尽管在图1云平台有足够的RAM对于大型数据窗口,一个典型的heavy-node传感器目前只有MBs的RAM。使用VM(虚拟内存)扩大数据窗口不够好,因为闪存比内存慢得多。

此外,一个沉重的节点可能从不同的轻量级节点收集数据流,流可能有类似的数据片段。但有一个数据窗口能看到不止一个流更多的合并机会吗?

对于第二个问题,压缩速度传感器是非常重要的,尤其是重节点。GBs的流数据必须被压缩,而传感器的计算资源是有限的。减少数据窗口大小加速计算不是一个好方法,因为压缩比沉明显,再次遇到了第一个问题。

来解决这个问题,我们需要检查有关工作主要在传感器和流数据压缩。

在[3]和[4),我们已经讨论了当前无损压缩的数学模型和方法可分为3类:<年代pan class="list">(1)压缩基于概率和统计:典型的算法在这个类是霍夫曼和算术编码(7]。数据窗口大小几乎不能影响等一类压缩的速度维护的统计数据压缩,霍夫曼编码的时间复杂度是O(磅<年代pan class="nowrap"> )和传统的算术编码是O (<年代pan class="nowrap"> )。 是符号的编码量,如256个字符和索引码字在某些LZ算法。O (<年代pan class="nowrap"> )不够快,但是目前的算术编码算法进行了优化并达成O(磅吗<年代pan class="nowrap"> ),包括在ComZip [3]。(2)基于字典的压缩索引:典型算法在该类LZ系列(5),如LZ77和LZ78 /降落区实现字符串匹配的时间复杂度传统LZ77 LZ78和降落区编码是O (<年代vg height="8.8423pt" id="M16" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 2),O (<年代pan class="nowrap"> ),和O (<年代pan class="nowrap"> )。 是数据窗口大小。在ComZip,我们优化LZ77和达到O (<年代pan class="nowrap"> )由CZ-Array算法。本文主要关注它。(3)压缩基于符号的顺序和重复:典型算法在该类BWT (burrows - wheeler变换)8),MTF (move-to-front) [9],RLE(行程长度编码)。

传统BWT编码的时间复杂度是O (<年代pan class="nowrap"> ),这是太慢了。但目前BWT算法优化,达到O (<年代pan class="nowrap"> ),包括在ComZip CZ-BWT算法(6]。

此外,我们使用一种新方法将数据流分割成块和重建的时间复杂度O (<我>N)。这是BWT和MTF / RLE,但这是另一种提高压缩比的数据窗口。本文作为CZ-Array算法的一部分。

米TF和RLE简洁,易于实现,但其压缩比当前压缩领域的竞争力。为了达到更好的压缩比和性能,目前流行的压缩软件通常结合不同的压缩模型和方法。表1流行的压缩软件的特点和ComZip列表。

表1
压缩软件的特性。

专注于压缩比和速度的平衡,本文忽略了一些现有的方法,如MTF, RLE, PPMd [10),和PAQ过低压缩比和速度。

在本文中,术语“数据窗口”指的是不同的在每个压缩算法的数据结构。如果软件结合了多个数据窗口,我们以其瓶颈窗口为重点。表2在典型的压缩算法显示了数据窗口。

表2
在不同的算法数据窗口。

扩大的数据窗口,提高性能,研究人员尝试各种方式。每个压缩类都有一个不同的算法优化。如前所述,ComZip也保持了最优算法的3类,但每一次我们不能专注于太多的点。在[6),我们的时间复杂性传统BWT相比,BWT与sa) (11],与GSACA BWT [12),和CZ-BWT当前BWT研究。

研究压缩与AI(人工智能)是一个充满希望的方向。目前的研究主要是围绕一些特殊领域,如图像压缩的神经网络(13- - - - - -15]。然而,这仍然是一个问题对于人工智能实现一般领域无损的压缩效率,尤其是在计算资源有限的传感器。论述了通用压缩,和一些比人工智能算法更为实用。我们可以继续学习人工智能算法的为我们的未来的工作。

压缩的性能是很重要的传感器,所以并行计算的研究和硬件加速如ASIC(专用集成电路)和FPGA(现场可编程门阵列)[16- - - - - -18是有价值的。研究的一个热点是GPU(图形处理器)加速度(19- - - - - -21]。但是当我们提到的4),问题是并行线程的数据窗口分割成小片,然后降低压缩比。确切地说,本文关心的数据窗口大小和规模。

在[6),我们已经考虑CZ-BWT简洁的硬件设计,本文也认为CZ-Array的硬件实现。扩大规模的数据窗口,CZ-Array遵循突袭的命题(独立磁盘冗余阵列)[22),以前用于存储容量、性能和容错。提高压缩速度、CZ-Array参考来自lz4 [17),一个基于LZ77当前最快的LZ算法。RAID和lz4都简洁,但突袭不是用于压缩之前,和lz4小数据窗口和低压缩比。

我们安排我们的工作在数据编码的研究。表3显示了在我们的工作的关系。我们使用相同的平台:ComZip软件系统。ComZip与未揭露的部分是一个复杂的平台各种编码的研究问题,它仍在发展中。本文描述清楚,每一次我们只能关注几点。所以每篇论文显示不同的细节,和我们称之为专注A, B, C, D。

表3
关系的数据编码ComZip研究。

图2显示了这些ComZip集中在平台。我们可以看到,每篇论文的数据有不同的表象ComZip因为不同的问题。通常情况下,本文侧重于数组编码,所以绿色箭头在图2指出ComZip细节看不见的的数据3,4,6]。此外,本文比较了相似的焦点结构C和D:匹配链接建设者(MLB)。尽管有这些mlb CZ-BWT [6)和CZ-Array有不同的功能中,我们将介绍用一个类似的结构,可简化硬件设计和节省成本。


图2
关注ComZip的研究。

3所示。CZ-Array编码

3.1。CZ-Array的概念

压缩软件ComZip使用并行管道命名为“CZ管道。“我们已经介绍了CZ编码框架管道(4,6),扭转框架CZ解码管道。图3是相同的编码框架,所不同的是,CZ-Array单位是嵌入式,包括<年代pan class="list">(1)巴布(块数组构建器),它可以组合多个数据流为一个统一的数组数据流和扩大规模的窗口(2)大联盟(匹配链接生成器),它可以改善LZ77和BWT编码的速度


图3
CZ编码的框架与CZ-Array管道。

CZ-Array结合以下方法来掩盖一个较大的数据窗口规模和速度压缩:<年代pan class="list">(1)CZ-Array使用巴布多个数据流混合到一个统一的阵列流的多个数据流中可以看到相同的窗口如图4一个数据流,无论多长时间,压缩单元只能看到部分在数据窗口中。传统的压缩算法在图4(一)必须把流连续,这意味着流队列的窗外规模和无形的。一个并行的压缩算法在图4 (b)可以把多个流加快,但是窗口必须分成部分,和不同部位不能看到对方;因此,规模缩小的窗口。规模在图的窗口4 (c)不是缩小而CZ-Array对多个流在同一个窗口中。这种情况下意味着更好的压缩比,因为类似的部分不同的流可能偶然和匹配。这样的机会不会出现在图4 (b)。多个流混合到一个统一的流由巴布快。我们得到了提示从突袭22),实现了巴布领域的无损压缩。在巴布,流分成块,块重新安排在不同的序列,然后传输到数据窗口作为一种新的流。(2)CZ-Array使用MLB BWT或LZ77编码管道,这样可以优化的编码速度美国职棒大联盟,可以创建匹配链接BWT之前或LZ77编码。如图5匹配有利于快速链接位置没有byte-searching数据流。图5(一个)显示了基本的匹配链接,用于CZ-BWT。在[6),我们称之为“桶排序链接。“图5 (b)显示了无尽的匹配链接,用于LZ77图所示5 (c)。从图5 (c)我们可以看到,反转字符串“ZYXCBA…”是当前目标编码。<年代vg height="9.49473pt" id="M23" style="vertical-align:-0.2063999pt" version="1.1" viewbox="-0.0498162 -9.28833 6.66314 9.49473" width="6.66314pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 是基本匹配长度。LZ77编码器可能遵循匹配链接找到最大匹配长度和它的位置,这是速度远远超过仅仅搜索窗口的数据。在本节的其余部分,我们将介绍的算法和匹配后的链接。(3)巴布和大联盟都是简洁的硬件设计,使加速度传感器可以获得更好的压缩性能的FPGA和ASIC由几个subalgorithms CZ-Array算法,如块数组构建算法和匹配算法链接建设。这两个算法简洁和适合的硬件设计。我们将提供他们的主要硬件设计部分4。

(一)传统数据窗口
(一)传统数据窗口
(b)传统的并行数据窗口
(b)传统的并行数据窗口
(c) CZ-Array数据窗口
(c) CZ-Array数据窗口
图4
数据窗口规模压缩。
(一)基本匹配链接
(一)基本匹配链接
(b)使无尽的匹配关系
(b)使无尽的匹配关系
(c) LZ77字符串匹配
(c) LZ77字符串匹配
图5
匹配压缩链接(<年代pan class="inline_break"> )。
3.2。巴布编码

巴布受益于RAID的暗示,尽管他们是不同的。图6显示了raid - 0和巴布的编码的最简单的场景。在图6(一),我们假设系列文件写入空raid - 0。这个文件数据流分成块,然后写入不同的磁盘的RAID。在图6 (b),这些磁盘块读取,然后叠成一个连续的文件。

(一)raid - 0写作
(一)raid - 0写作
(b) raid - 0阅读
(b) raid - 0阅读
(c)巴布编码
(c)巴布编码
(d)巴布解码
(d)巴布解码
图6
raid - 0和巴布的编码(<年代pan class="inline_break"> )。

在图6 (c),我们假设所有的数据流都没完没了的或具有相同的长度。他们分成块,组织作为一个整体数组,数组,然后安排到一个统一的流在巴布。在图6 (d),我们看到了逆转的过程:一个统一的阵列流恢复成多个数据流。

如raid - 5可以使用<年代pan class="inline_break"> 块(<年代vg height="6.1673pt" id="M27" style="vertical-align:-0.2063904pt" version="1.1" viewbox="-0.0498162 -5.96091 6.6501 6.1673" width="6.6501pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 数据块和1个奇偶校验块)来获取冗余可靠性、块数组也可以使用<年代pan class="inline_break"> 块(<年代vg height="6.1673pt" id="M29" style="vertical-align:-0.2063904pt" version="1.1" viewbox="-0.0498162 -5.96091 10.3951 6.1673" width="10.3951pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 数据块和1 error-correction-code块)的信息安全。<年代vg height="6.1673pt" id="M30" style="vertical-align:-0.2063904pt" version="1.1" viewbox="-0.0498162 -5.96091 10.3951 6.1673" width="10.3951pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 和<年代vg height="6.1673pt" id="M31" style="vertical-align:-0.2063904pt" version="1.1" viewbox="-0.0498162 -5.96091 6.6501 6.1673" width="6.6501pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 是不同的。例如,<年代pan class="inline_break"> 和<年代pan class="inline_break"> 。如果改变压缩数据流,error-correction-code块将发现不适合数据块。但本文关心的压缩率和速度,所以我们专注于最简单的块数组,raid - 0。

在图6,RAID和巴布的编码算法可以很容易地确定数据块的适当的顺序,因为情况下很简单,块大小是一样的。但在实践中,数据流是更复杂的,如不同长度的多个流,突然结束,和新开始流。因此,巴布编码算法对这些情况。

在BAB编码过程中,我们定义的<年代vg height="6.1673pt" id="M34" style="vertical-align:-0.2063904pt" version="1.1" viewbox="-0.0498162 -5.96091 6.6501 6.1673" width="6.6501pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 连续的数据块数组;<我>B块的大小;<年代vg height="8.68572pt" id="M35" style="vertical-align:-0.0498209pt" version="1.1" viewbox="-0.0498162 -8.6359 9.2729 8.68572" width="9.2729pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 随着大量的原始数据流(编码);<我>流(<我>我用ID)作为数据流<年代vg height="8.8423pt" id="M36" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 3.66193 8.8423" width="3.66193pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> (<年代pan class="inline_break"> );流(<我>我]。<我>长度的长度是<我>流(<我>我)(<年代pan class="inline_break"> )。

图6显示最简单的情况<年代pan class="inline_break"> 。但在实践中,数据窗口大小有限,所以这一点<年代vg height="6.1673pt" id="M40" style="vertical-align:-0.2063904pt" version="1.1" viewbox="-0.0498162 -5.96091 6.6501 6.1673" width="6.6501pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 不能太大。否则,窗口中的数据可能overdispersed和降低压缩比。因此,<年代pan class="inline_break"> 通常,每个流(编码/解码)有两个状态:活跃的和不活跃的。流在BAB编码(尤其是在块数组行)是活跃的,而流队列(行)以外的活动。

如图7,我们把情况分成2例来简化算法设计:<年代pan class="list">(1)案例1:<我>流(<我>我]。<我>长度和<年代vg height="8.68572pt" id="M42" style="vertical-align:-0.0498209pt" version="1.1" viewbox="-0.0498162 -8.6359 9.2729 8.68572" width="9.2729pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 之前已经知道编码。例如,ComZip生成一个XML(可扩展标记语言)文件的压缩。每个文件被认为是数据流,XML文档存储文件的目录如图7(一),这种情况下表明所有的河流都准备好了,没有在编码过程中缺席。所以该算法可以使用一个固定的金额<年代vg height="6.1673pt" id="M43" style="vertical-align:-0.2063904pt" version="1.1" viewbox="-0.0498162 -5.96091 6.6501 6.1673" width="6.6501pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 编码流。一个活跃的流结束时,一个新的活动流在队列将连接。这是一个无缝连接在同一块。和在减压过程中,流可以隔开<我>流(<我>我]。<我>长度。(2)案例2:<我>流(<我>我]。<我>长度和<年代vg height="8.68572pt" id="M44" style="vertical-align:-0.0498209pt" version="1.1" viewbox="-0.0498162 -8.6359 9.2729 8.68572" width="9.2729pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 编码前是未知的。例如,偶尔传感器发送视频流。如果一个传感器停止当前流,然后继续,我们认为继续流是一个新的如图7 (b),这种情况下显示实时流量<年代vg height="8.68572pt" id="M45" style="vertical-align:-0.0498209pt" version="1.1" viewbox="-0.0498162 -8.6359 9.2729 8.68572" width="9.2729pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 是动态的,并且每个<我>长度是未知的,直到<我>流(<我>我]目的。因此算法的最大数量<年代vg height="8.8423pt" id="M46" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 17.9503 8.8423" width="17.9503pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 和维护的动态<年代pan class="nowrap"> 。一个活跃的流结束时,<年代pan class="nowrap"> 。当<年代pan class="inline_break"> ,该算法将试图得到一个新的活动流在队列中添加空数组行。如果它成功了,<年代pan class="inline_break"> 。

(一)案例1:已知流数量和长度
(一)案例1:已知流数量和长度
(b)案例2:未知的流量长度
(b)案例2:未知的流量长度
图7
巴布编码算法设计(<年代pan class="inline_break"> )。

不同的例图7导致不同的块结构。一块在图7(一)包含纯数据,而在图块7 (b)表中所示的结构吗4前,一块头载荷数据。我们设计这一块巴布的头提供信息解码算法,以便它可以正确分离流。

表4
案例2块结构。

关注周围的准确问题压缩比和速度,本文跳过第二种情况和讨论了算法的实现案例1。算法1和2展示案例1的BAB编码和解码。

CZ-Array算法的描述
/<年代vg height="10.1524pt" id="M53" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 这个编码算法使用以下程序:
input_Encoder(<我>流,<我>长度):数据从一个活动流的输入;
output_Encoder():数据作为一个整体输出到美国阵列流。
/
函数encodeBAB(<我>流(0 . .<我>一个1))<我>{/<年代vg height="10.1524pt" id="M55" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 流输入流队列(准备编码)<年代vg height="10.1524pt" id="M56" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
行 =<我>数组(0 . .<我>n1);/<年代vg height="10.1524pt" id="M57" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> n连续的数据块数组(<我>n<=<我>一个)<年代vg height="10.1524pt" id="M58" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
行(0 . .<我>n(1]=流0 . .<我>n1);/<年代vg height="10.1524pt" id="M59" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 初始化行<年代vg height="10.1524pt" id="M60" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
我 =0;<我>数 =<我>n;
重复做<我>{
而(<我>buffer.length<<我>B)<我>{/<年代vg height="10.1524pt" id="M61" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> B块的大小吗<年代vg height="10.1524pt" id="M62" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
input_Encoder(<我>行(<我>我),<我>B- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -<我>buffer.length➔)<我>缓冲;
如果(<我>行(<我>我是空的)<我>{/<年代vg height="10.1524pt" id="M63" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 当前流结束<年代vg height="10.1524pt" id="M64" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
如果(<我>数<<我>一个)<我>{行(<我>我(]=流<我>数];<我>数 =<我>数+1;<我>}/<年代vg height="10.1524pt" id="M65" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 切换到一个新的流<年代vg height="10.1524pt" id="M66" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
else if (<我>n>0)做<我>{行(<我>我]=<我>行(<我>n1);<我>n =<我>n1;<我>}/<年代vg height="10.1524pt" id="M67" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 删除一行<年代vg height="10.1524pt" id="M68" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
还<我>{缓冲➔<我>output_Encoder();返回;<我>}/<年代vg height="10.1524pt" id="M69" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 该算法结束<年代vg height="10.1524pt" id="M70" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
}
}
缓冲➔<我>output_Encoder();/<年代vg height="10.1524pt" id="M71" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 分裂和输出一个街区<年代vg height="10.1524pt" id="M72" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
我 =(<我>我+1)国防部<我>n;/<年代vg height="10.1524pt" id="M73" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 我 =0、1、2、…<我>n1,0,1,2,…,<我>n1,0,1,2,…<年代vg height="10.1524pt" id="M74" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
}
}
算法1
巴布编码为例1。
/<年代vg height="10.1524pt" id="M75" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 这个解码算法使用以下程序:
input_Decoder(<我>长度):从联合数组输入的数据流;
output_Decoder(<我>流):活跃的数据输出到一个流。
/
函数decodeBAB(<我>流(0 . .<我>一个1))<我>{/<年代vg height="10.1524pt" id="M77" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 流输出流队列(准备编码)<年代vg height="10.1524pt" id="M78" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
行 =<我>数组(0 . .<我>n1);/<年代vg height="10.1524pt" id="M79" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> n连续的数据块数组(<我>n<=<我>一个)<年代vg height="10.1524pt" id="M80" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
行(0 . .<我>n(1]=流0 . .<我>n1);/<年代vg height="10.1524pt" id="M81" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 初始化行<年代vg height="10.1524pt" id="M82" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
我 =0;<我>数 =<我>n;
重复做<我>{
input_Decoder(<我>B➔)<我>缓冲;/<年代vg height="10.1524pt" id="M83" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> B块的大小吗<年代vg height="10.1524pt" id="M84" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
如果(<我>buffer.length =0)<我>{返回;<我>}/<年代vg height="10.1524pt" id="M85" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 输入流为空,该算法结束<年代vg height="10.1524pt" id="M86" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
而(<我>buffer.length>0)做<我>{
如果(<我>行(<我>我]充满)<我>{/<年代vg height="10.1524pt" id="M87" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 当前流结束<年代vg height="10.1524pt" id="M88" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
如果(<我>数<<我>一个)<我>{行(<我>我(]=流<我>数];<我>数 =<我>数+1;<我>}/<年代vg height="10.1524pt" id="M89" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 切换到一个新的流<年代vg height="10.1524pt" id="M90" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
else if (<我>n>0)做<我>{行(<我>我]=<我>行(<我>n1);<我>n =<我>n1;<我>}/<年代vg height="10.1524pt" id="M91" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 删除一行<年代vg height="10.1524pt" id="M92" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
}
缓冲➔<我>output_Decoder(<我>行(<我>我]);
我 =(<我>我+1)国防部<我>n;/<年代vg height="10.1524pt" id="M93" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 我 =0、1、2、…<我>n1,0,1,2,…,<我>n1,0,1,2,…<年代vg height="10.1524pt" id="M94" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
}
}
}
算法2
巴布解码为例1。

明确的算法描述,实现细节省略。例如,由于每个流长度已知在案例1中,算法1和2只是长度控制理所当然:如果当前流结束时,输入/输出程序会得到实际的数据长度,即使固定块长度<年代vg height="8.68572pt" id="M95" style="vertical-align:-0.0498209pt" version="1.1" viewbox="-0.0498162 -8.6359 7.94191 8.68572" width="7.94191pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 是想要的。

3.3。MLB和LZ77编码

大联盟可以加速BWT LZ77编码。我们引入了CZ-BWT编码(6),这实际上包括MLB算法在第一阶段。本文就着重于其他大联盟和LZ77算法编码匹配的链接。

如图5 (b),美国职棒大联盟,可以使用一个桶数组无尽的匹配关系,如“华”链接和“XYZ”链接,然后提供他们LZ77编码器。图5 (c)显示了示例LZ77字符串匹配的编码器。“XYZ”链接后,我们可以看到两个匹配点:4字节匹配和匹配5字节。

关于这些算法所示数据的更多细节8(一个)和8 (b)。有两个阶段在我们LZ77编码:(图8(一个))构建匹配在MLB和(图的链接8 (b))每次匹配链接后发现的最大匹配长度LZ77编码器。所以,输出长度/索引码字来自这些最大匹配长度和相应的匹配点位置。无法找到匹配点时,输出一个字符代码字母。

(一)数据窗口流缓冲区
(一)数据窗口流缓冲区
(b) LZ77字符串匹配
(b) LZ77字符串匹配
图8
LZ77字符串匹配匹配链接(<年代pan class="inline_break"> )。

在图8(一个),数据流及其匹配链接可以是无穷无尽的。但在实践中,数据窗口的内存是有限的传感器。数据流经过时,数据窗口滑流缓冲区,和部分数据的缓冲区将失去信息,这样我们不能按照匹配数据窗口以外的链接。切割的链接是缓慢的,但我们可能只是区分链接指针是否已经超过窗口绑定。

定位数据窗口滑动流缓冲区,我们定义“直”字符串<年代vg height="6.1673pt" id="M97" style="vertical-align:-0.2063904pt" version="1.1" viewbox="-0.0498162 -5.96091 4.9929 6.1673" width="4.9929pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 在窗口如下:<年代pan class="equation_break" id="EEq2"> 在缓冲区[0…<年代vg height="8.98583pt" id="M99" style="vertical-align:-0.3499308pt" version="1.1" viewbox="-0.0498162 -8.6359 32.6866 8.98583" width="32.6866pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 是流缓冲区(<年代pan class="inline_break"> ),pos数据窗口的当前位置在流缓冲区,<我>年代(<我>我…<年代pan class="inline_break"> 24 b)是一个整数(<年代pan class="inline_break"> ),但(<年代pan class="inline_break"> 24 b)也是一个整数(<年代pan class="inline_break"> )。

在[6),我们已经建立了CZ-BWT匹配链接,也称为“桶排序链接。“现在,我们为LZ77构建匹配的链接<我>缓冲区。图8显示“XYZ”链接的例子,我们看到3匹配点。256年桶数组<年代up>3链接标题,链接是无穷无尽的。我们定义链接和标题的结构如下:<年代pan class="equation_break" id="EEq3">

是固定的长度匹配每个匹配点的链接。在图的例子5,<年代pan class="inline_break"> “华”和“XYZ”。<年代vg height="8.8423pt" id="M108" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 3.66193 8.8423" width="3.66193pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 是普通的位置在方程(3)和(4)。我们可以看到<我>链接(<我>我商店的距离(即。,relative position) of the next matching point. Be aware that if the next matching point is out of the window bound,<我>链接(<我>我商店一个无用的价值。该算法可以区分这种情况:让价值<年代pan class="inline_break"> ,如果<年代pan class="nowrap"> - - - - - -<我>链接(<我>我]< 0,<我>链接(<我>我是过期的。

图8 (b)显示了快速字符串匹配的匹配链接。我们可以看到逆转字符串“ZYXCBA…”开始<年代vg height="11.439pt" id="M111" style="vertical-align:-2.15067pt" version="1.1" viewbox="-0.0498162 -9.28833 24.9445 11.439" width="24.9445pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 得到2匹配点:扭转“ZYXC”和“ZYXCB”匹配长度4和5。

数据流可能很长或无穷无尽,而流缓冲区是有限的;因此,数据窗口滑动在这个缓冲区将达到边缘buf [<年代vg height="8.98583pt" id="M112" style="vertical-align:-0.3499308pt" version="1.1" viewbox="-0.0498162 -8.6359 32.6866 8.98583" width="32.6866pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> ]。我们可以移动数据窗口回到buf[0],但它是缓慢的。因此,我们假设这个缓冲区是一个“循环”的字符串缓冲区[0…<年代vg height="8.98583pt" id="M113" style="vertical-align:-0.3499308pt" version="1.1" viewbox="-0.0498162 -8.6359 32.6866 8.98583" width="32.6866pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> ],它具有以下特点:<年代pan class="equation_break" id="EEq5">

然后,方程(2)改变和扩展成一个一致的模量方程:<年代pan class="equation_break" id="EEq6">

作为<年代pan class="inline_break"> ,数据窗口总是占据了一半的流缓冲区,和新鲜的流数据填补另一半。为了简化算法描述,本文隐藏了实现细节方程(6),但理所当然,方程(5)是有效的。

匹配后的链接不够快,需要进一步加速。寻找所有匹配的点沿着链接最大匹配长度消耗太多时间,然而大多数的尝试未能增加匹配的长度。因此,我们提出了一个可配置的参数<我>视线控制匹配时间和观察,显然LZ77编码加速,而压缩率略有下降。

算法3显示了MLB编码,包括匹配的链接建设和LZ77编码。我们可以使用一个普通LZ77解码算法没有匹配的链接。

/<年代vg height="10.1524pt" id="M117" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 这个编码算法使用以下程序:
输入(<我>缓冲+<我>抵消,<我>流,<我>长度):数据输入的字符流;
输出(<我>长度,<我>指数):数据输出为一个长度/索引代码字母;
output_Char(<我>字符):数据输出作为一个单一的字符代码字母。
/
函数encodeLZ_MLB(<我>流)<我>{/<年代vg height="10.1524pt" id="M119" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 流是输入流<年代vg height="10.1524pt" id="M120" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
缓冲区 =<我>数组(0 . .<我>米1);/<年代vg height="10.1524pt" id="M121" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 缓冲区是数据流的缓冲区,Eq(5)总是工作<年代vg height="10.1524pt" id="M122" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
pos =<我>N;/<年代vg height="10.1524pt" id="M123" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> pos跟踪数据的当前位置窗口(<我>米 =2<我>N)<年代vg height="10.1524pt" id="M124" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
定义:<我>年代 =<我>缓冲区+<我>pos;/<年代vg height="10.1524pt" id="M125" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 年代(0 . .<我>N1)是数据窗口,Eq(6)总是工作<年代vg height="10.1524pt" id="M126" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
链接 =<我>数组(0 . .<我>米1);/<年代vg height="10.1524pt" id="M127" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 链接存储匹配链接<我>缓冲区<年代vg height="10.1524pt" id="M128" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
桶 =<我>数组(2560 . .<年代up>31);/<年代vg height="10.1524pt" id="M129" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 桶商店的链接头Eq (3)<年代vg height="10.1524pt" id="M130" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
链接(0 . .<我>米1)=<我>零;<我>桶256年[0 . .<年代up>31)=<我>零;/<年代vg height="10.1524pt" id="M131" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 初始化匹配链接和链接标题<年代vg height="10.1524pt" id="M132" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
重复做<我>{/<年代vg height="10.1524pt" id="M133" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 提示:位置<我>缓冲区形成一个相等的组<年代vg height="10.1524pt" id="M134" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
保持 =<我>输入(<我>缓冲区+<我>N- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -<我>pos,<我>流,<我>N);/<年代vg height="10.1524pt" id="M135" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 保持得到当前的输入数据的长度<年代vg height="10.1524pt" id="M136" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
如果(<我>保持 =0)<我>{返回;<我>}/<年代vg height="10.1524pt" id="M137" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 该算法结束<年代vg height="10.1524pt" id="M138" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
为<我>n =0 . .<我>保持1做<我>{/<年代vg height="10.1524pt" id="M139" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 阶段(a):构建匹配链接<年代vg height="10.1524pt" id="M140" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
我 =<我>N- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -<我>pos+<我>n;<我>j =<我>缓冲区(<我>我。。<我>我+2];<我>p =<我>桶(<我>j];
如果不是(<我>p =<我>零)和(<我>缓冲区(<我>p。。<我>p+2]=<我>j)<我>{桶(<我>j]=<我>零;<我>}/<年代vg height="10.1524pt" id="M141" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 清除过期标头值<年代vg height="10.1524pt" id="M142" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
如果(<我>桶(<我>j]=<我>零)<我>{链接(<我>我]=<我>零;<我>}
还<我>{链接(<我>我]=<我>我- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -<我>桶(<我>j];<我>}/<年代vg height="10.1524pt" id="M143" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 链接商店的距离(即相对位置)的Eq (4)<年代vg height="10.1524pt" id="M144" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
桶(<我>j]=<我>我;/<年代vg height="10.1524pt" id="M145" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 桶商店的普通位置Eq (3)<年代vg height="10.1524pt" id="M146" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
}
而(<我>保持>0)做<我>{/<年代vg height="10.1524pt" id="M147" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 阶段(b): LZ77字符串匹配和编码<年代vg height="10.1524pt" id="M148" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
如果(<我>保持<3)做<我>{
为<我>我 =1。。<我>保持{做<我>output_Char(<我>年代(<我>N]);<我>pos =<我>pos+1;}/<年代vg height="10.1524pt" id="M149" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 输出剩余的字符<年代vg height="10.1524pt" id="M150" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
打破;/<年代vg height="10.1524pt" id="M151" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 跳出“同时”循环<年代vg height="10.1524pt" id="M152" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
}
n =<我>pos+<我>N;<我>经销 =0;/<年代vg height="10.1524pt" id="M153" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 经销痕迹之间的距离<我>年代(<我>N)和当前匹配点<年代vg height="10.1524pt" id="M154" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
len =1;<我>指数 =0;/<年代vg height="10.1524pt" id="M155" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> len和<我>指数跟踪当前最大匹配长度及其相对位置<年代vg height="10.1524pt" id="M156" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
为<我>我 =1。。<我>视线做<我>{/<年代vg height="10.1524pt" id="M157" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 视线控制匹配的时候<年代vg height="10.1524pt" id="M158" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
d =<我>链接(<我>n- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -<我>指数];/<年代vg height="10.1524pt" id="M159" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> d电流匹配点的距离吗<年代vg height="10.1524pt" id="M160" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
如果(<我>d =<我>零)或(<我>经销+<我>d>=<我>N)<我>{打破;<我>}/<年代vg height="10.1524pt" id="M161" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 跳出“for”循环<年代vg height="10.1524pt" id="M162" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
经销 =<我>经销+<我>d;<我>x =<我>N;<我>y =<我>N- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -<我>经销;
(<我>l =0 . .<我>保持1)和(<我>年代(<我>x]=<我>年代(<我>y)做<我>{x =<我>x+1;<我>y =<我>y+1;<我>}/<年代vg height="10.1524pt" id="M163" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 得到相应的长度<我>l<年代vg height="10.1524pt" id="M164" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
如果(<我>l><我>len)<我>{len =<我>l;<我>指数 =<我>经销;<我>}/<年代vg height="10.1524pt" id="M165" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 找到一个更好的匹配点<年代vg height="10.1524pt" id="M166" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
}
如果(<我>len>2)做<我>{输出(<我>len,<我>指数);<我>}/<年代vg height="10.1524pt" id="M167" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 输出一个长度/索引代码字母<年代vg height="10.1524pt" id="M168" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> /
还<我>{output_Char(<我>年代(<我>N]);<我>len =1;<我>}/<年代vg height="10.1524pt" id="M169" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 输出一个字符<年代vg height="10.1524pt" id="M170" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> / l
pos =<我>pos+<我>len;<我>保持 =<我>保持- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -- - - - - -<我>len;
}
}
}
算法3
MLB编码(<我>k =3)。

4所示。CZ-Array算法的分析

CZ-Array算法包括巴布编码/解码和MLB编码。MLB解码是不必要的,因为MLB编码只是创建匹配链接加速LZ77编码。我们可以参考raid - 0在BAB编码的分析,我们可以比较LZ77和MLB编码和其他典型的LZ算法在一些流行的压缩软件,如7 - zip / p7zip gzip, lz4。

4.1。时间复杂性
以下4.4.1。巴布编码

在实践中,raid - 0是非常快的,其算法简单。其性能的关键因素<年代vg height="8.8423pt" id="M171" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 和<年代pan class="nowrap"> 。 输入/输出数据流的长度,<年代vg height="6.1673pt" id="M174" style="vertical-align:-0.2063904pt" version="1.1" viewbox="-0.0498162 -5.96091 6.6501 6.1673" width="6.6501pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 是磁盘的raid - 0。我们把<年代vg height="6.1673pt" id="M175" style="vertical-align:-0.2063904pt" version="1.1" viewbox="-0.0498162 -5.96091 6.6501 6.1673" width="6.6501pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 是一个常数。所以raid - 0编码/解码的时间复杂度<年代pan class="inline_break"> 。

所示的算法1和2和图6,巴布编码类似于raid - 0。不同的是巴布编码与不同长度对多个流,但是这个操作还快,不影响性能。BAB编码的时间复杂度是O (<年代pan class="nowrap"> )。我们可以预期实际BAB编码和RAID一样快。

4.1.2。MLB和LZ77编码

所示的算法3和图8,我们可以把算法分为2部分:阶段(a)建立匹配的链接,和阶段(b) LZ77编码匹配链接。

阶段(一)类似于第一阶段的CZ-BWT编码(6]。我们已经讨论了桶排序的时间复杂度是O (<年代pan class="nowrap"> )在[6]。<年代vg height="8.8423pt" id="M179" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 是数据窗口大小(BWT块)。所以阶段(一)也有时间复杂度O (<年代pan class="nowrap"> )。

借助匹配链接、阶段(b)比传统LZ77算法快。根据LZ77压缩的原理5)的关键计算LZ77编码字符串匹配,决定了编码速度。传统LZ77编码时间的复杂度O (<年代vg height="8.8423pt" id="M181" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 2),因为它必须找到匹配点通过寻求数据窗口中,一个字节。

gzip的软件也使用匹配链接加快LZ77编码,但每次它跟踪一个链接找到所有匹配点在数据窗口中,所以时间复杂度仍然是O (<年代vg height="8.8423pt" id="M182" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 2)。而7 - zip降落区使用二叉树编码。寻找一个二叉树比跟踪匹配链接,快7 - zip(降落区)编码的时间复杂度是O (<年代pan class="nowrap"> )。

我们有一个更快的方式在阶段(b)的算法3。一个可配置的参数<我>视线用于控制适用的匹配点的数量在每个链接。然后我们不需要跟踪整个匹配的链接。取<年代pan class="inline_break"> 例如,每次只匹配第一个10分链接检查寻找最大匹配长度。在实践中,我们把<我>视线作为一个常数,所以ComZip的时间复杂度(LZ77)编码<年代pan class="inline_break"> 。

调查,lz4是最快的一个平行LZ系列的压缩软件。它的最高速度因为每次只检查一个关键点,它充分利用CPU的缓存。然后,我们可以大致认为lz4快速LZ77短匹配链接<年代pan class="inline_break"> 。lz4编码的时间复杂度也O (<年代pan class="nowrap"> )。

在[6),我们已经讨论了bzip2 (BWT)编码的时间复杂度O (<年代pan class="nowrap"> )。

4.2。空间复杂性
4.2.1。准备巴布编码

的内存使用是重要的传感器。所示的算法1和2,巴布编码需要缓冲块和一组数组。块缓冲区空间复杂度O (<年代pan class="nowrap"> )。 是块大小。流信息数组空间复杂度O (<年代pan class="nowrap"> )。 数组的行数量。但<年代vg height="6.1673pt" id="M193" style="vertical-align:-0.2063904pt" version="1.1" viewbox="-0.0498162 -5.96091 6.6501 6.1673" width="6.6501pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 是非常小的,所以巴布编码的空间复杂度是O (<年代pan class="nowrap"> )。 。

4.2.2。MLB和LZ77编码

软件gzip 32 KB数据窗口。它需要内存10 N (2 N双窗口缓冲区,4 N匹配链接,和4<我>N4<年代vg height="10.1524pt" id="M196" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 32 KB的哈希表)。所以,gzip (LZ77)编码的空间复杂度是O (<年代pan class="nowrap"> )。和lz4多流并行压缩软件。每个线程都有一个64 KB的RAM数据窗口,需要1.25 N (<我>N窗口缓冲区,和0.25<我>N16KB的哈希表)。所以lz4编码的空间复杂度是O (<年代pan class="nowrap"> )。 是并行线程的数量。在[6),我们已经讨论了bzip2 (BWT)编码需要内存2.5 N。它的时间复杂度O (<年代pan class="nowrap"> )。

7 - zip和ComZip支持多流并行压缩,和他们也支持大型数据窗口在GB级别。每个线程的7 - zip(降落区)编码需要内存9.5 N(主要为二叉树)。所以,7 - zip(降落区)编码的空间复杂度是O (<年代pan class="nowrap"> )。

ComZip需要窗口的内存缓冲区,匹配链接和链接标题。在图8流缓冲区是一个双窗口缓冲区和需要内存2 N,但在ComZip我们优化的动态随机存取存储器的使用需求<年代pan class="nowrap"> 。匹配的链接需要内存4 N(支持2 GB数据窗口)或5 N(支持512 GB)。链接标题形式与256年一桶数组<年代vg height="12.308pt" id="M203" style="vertical-align:-0.04979992pt" version="1.1" viewbox="-0.0498162 -12.2582 5.247 12.308" width="5.247pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 元素。如果<年代pan class="inline_break"> ,一桶数组需要64 MB RAM(支持2 GB数据窗口)或80 MB(支持512 GB),可以忽略如果大于16 MB的数据窗口。总之,ComZip RAM (LZ77)编码需要5 - 7 N,所以它有空间复杂度O (<年代pan class="nowrap"> )。

4.3。压缩比

LZ系列压缩基地字符串匹配。所以的压缩率取决于匹配的机会和最大匹配每个匹配点的长度。如果一个匹配点出去的数据窗口,它不能导致的压缩率。

巴布编码重建数据流,以便多个流中可以看到相同的数据窗口。如果流是相似的,许多有利于压缩比匹配点。但如果流是完全不同的,压缩比会略有降低,如减少数据窗口大小的影响。这些数据中观察实验结果,我们可以推断出一个实验规则:仔细匹配点可能会有更大的匹配长度。

实践中的数据是复杂的,所以我们需要做各种数据实验这一规则建模。本文只需要一个简单的例子来解释这些巴布的效果。根据方程(1)和图4,我们假设<年代vg height="13.8895pt" id="M206" style="vertical-align:-5.36452pt" version="1.1" viewbox="-0.0498162 -8.52498 21.1495 13.8895" width="21.1495pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 有以下趋势:<年代pan class="equation_break" id="EEq7">

是数据窗口大小。当巴布混合<年代vg height="6.1673pt" id="M209" style="vertical-align:-0.2063904pt" version="1.1" viewbox="-0.0498162 -5.96091 6.6501 6.1673" width="6.6501pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 流,每个流的数据窗口大小<年代pan class="inline_break"> 。然后,方程(7)成为<年代pan class="equation_break" id="EEq8">

我们把<年代vg height="8.8423pt" id="M212" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 在本例中为一个常数。然后,方程(8)成为<年代pan class="equation_break" id="EEq9">

方程(9)推断,压缩比将略有减少,如果流块数组中是完全不同的。但如果流是相似的,作为一个简单的例子我们可以假设<年代vg height="14.0004pt" id="M214" style="vertical-align:-5.3645pt" version="1.1" viewbox="-0.0498162 -8.6359 21.4888 14.0004" width="21.4888pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 有以下趋势:<年代pan class="equation_break" id="EEq10">

方程的影响(9)和(10)聚在一起,结果将显示的主要因素方程(10),推断的压缩率就会增加。

我们可能仍然使用方程(7)作为一个例子来估计的压缩率数据窗口大小的限制,但我们也应该考虑压缩格式的影响。gzip的32 KB的窗口是远离7 - zip的1 GB数据窗口,但gzip的长度/索引代码字母很短,这有助于提高压缩比。毕竟,32 KB的规模太小,我们可能期望的gzip压缩比在我们的实验中是最低的。但结果显示lz4是最低的。

Lz4是专为高速并行压缩。每个线程都有一个独立的64 KB数据压缩窗口。但是到达的时间复杂度O (<年代pan class="nowrap"> ),每次在LZ编码它只有一个匹配点,将失去的其余部分匹配机会窗口。作为对比,gzip尝试所有的匹配点32 KB的窗口,它还有霍夫曼编码,所以它的压缩比是高于lz4。

尽管bzip2使用BWT编码代替LZ系列,我们可能仍然使用方程的例子(7),得到了实验结果的支持。因为数据窗口的gzip、lz4和bzip2都小,压缩比是没有竞争力的。如果他们使用更大的窗户,他们的压缩速度会慢下来。

7- - - - - -- - - - - - - - - -zip和ComZip大型数据窗口的优势在GB的水平,所以他们的压缩比很高。和他们都支持多流并行高速的压缩。但是我们应该考虑多个线程的内存消耗。如果一个传感器的内存是有限的,它仍然可以支持高压缩比的大窗户吗?

像lz4的行为,7 - zip还使用独立的并行线程的数据窗口。正如上面提到的,7 - zip(降落区)编码空间复杂度O (<年代pan class="nowrap"> )。例如,如果它使用<年代pan class="inline_break"> 线程,每个线程使用<年代pan class="inline_break"> MB的窗口,窗口大小<年代pan class="inline_break"> 。另一方面,如果总窗口大小的内存限制<年代pan class="inline_break"> MB,每个线程只是独立窗口<年代pan class="inline_break"> MB。因此,并行7 - zip编码的压缩比降低<年代pan class="nowrap"> 。

ComZip股票数据窗口所有并行线程。如果总窗口大小<年代pan class="inline_break"> MB,每个(LZ77)编码线程可以充分利用<年代vg height="8.55521pt" id="M225" style="vertical-align:-0.2063904pt" version="1.1" viewbox="-0.0498162 -8.34882 18.8898 8.55521" width="18.8898pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> MB的窗口。所以ComZip的并行编码可以保持高压缩比。

此外,ComZip (LZ77)编码的时间复杂度O (<年代pan class="nowrap"> ),这意味着它有潜力扩大的数据窗口更高的压缩比,没有明显的快速速度损失。作为对比,7 - zip(降落区)编码的时间复杂度O (<年代pan class="nowrap"> )。

ComZip使用<我>视线控制适用的高速度的匹配点的数量和跳过匹配链接余数。这将略有降低压缩比,但我们可以扩大<年代vg height="8.8423pt" id="M228" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 或<我>视线来弥补这个损失。

表5显示了CZ-Array的比较和其他LZ / BWT编码这些流行的压缩软件。

表5
比较的数据编码。
4.4。硬件设计的复杂性

硬件加速是有价值的对于计算资源有限的传感器。CZ-Array的算法,包括巴布和MLB编码、简洁的硬件实现。

如图6,巴布和RAID编码是一样的。在实践中,磁盘阵列控制器的硬件成熟和迅速,这可能会对巴布的硬件实现。图9显示了巴布的主要硬件设计。编码器使用多路复用器将数据流,和译码器使用一个信号分离器将阵列流。蓄电池计数时钟。当一块输出,多路复用器/解复用器将切换到下一个数据流。

(一)编码器
(一)编码器
(b)译码器
(b)译码器
图9
巴布的主要硬件设计(<年代pan class="inline_break"> )。

这仅仅是主要的设计,可以把数据流具有相同的长度。算法的实现1和2需要额外的控制逻辑电路的情况。

图10显示了大联盟的主要硬件设计。清晰地展示设计,我们使用3块RAM。但在实践中,我们可以使用同一块内存和分成3个区域的数据地址。这也是主要的设计和算法的实现3阶段(一)需要额外的详细设计。例如,这种设计不能停止和重启的蓄电池时数据窗口。


图10
大联盟的主要硬件设计(<年代pan class="inline_break"> )。

在视图的硬件,数据9和10简洁,易于优化硬件速度。

5。实验结果

在[3,4,6),我们已经做了一些实验来比较ComZip和其他压缩软件,但它们在不同版本、不同情况下。本文主要关注CZ-Array和比较ComZip p7zip (7 - zip的Linux版本),bzip2, lz4, gzip。这些压缩软件很受欢迎,和很多其他的压缩软件与他们相比。我们可能只是与他们比较ComZip可以估计因为与他人比较。

在本文中,我们使用的参数“9”gzip和lz4获得最大压缩比。对于ComZip本身,我们使用<年代pan class="inline_break"> 测试BAB编码,然后使用<年代pan class="inline_break"> 模拟ComZip没有巴布。这是可行的通过修改参数配置文件中的“列”“cz.ini”。我们也使用<年代pan class="inline_break"> 和<年代pan class="inline_break"> MB通过修改参数“视觉”和“集群”。

我们发现4公共文件模拟数据流,并感谢OpenWRT项目的开发者。表6显示这些文件。他们可以从下载http://downloads.openwrt.org/

表6
实验数据文件。

本文的实验硬件平台:2日x86/64和手臂。他们的表演可以提供未来和当前大量传感器节点的引用。Linux操作系统的实验平台。我们仍然在网站上提供ComZip,但是港口变成81。研究人员可以用它来做更多的实验与新数据。它可以从下载http://www.28x28.com: 81 / doc / cz_array.html

5.1。x86/64平台上测试

这个平台是一种常见的台式电脑使用以下设备:AMD Ryzen 2700 x 8核和16-thread CPU, 64 GB DDR4内存,250 GB的SSD(固态硬盘)和Ubuntu Linux 16.04 (x64)。我们认为这台电脑是未来高端移动传感器,因为承运人的电机可以提供足够的能量。软件版本是ComZip v20180421 (64 b), p7zip v16.02, bzip2 v1.0.6, lz4 v1.8.3, gzip v1.6。,提高匹配的效率链接,ComZip用途<年代pan class="inline_break"> 在这个实验中,这意味着斗阵图8与26 b匹配字符串而不是24 b。

表7和图11显示压缩文件大小的关系<年代vg height="14.1101pt" id="M250" style="vertical-align:-5.4742pt" version="1.1" viewbox="-0.0498162 -8.6359 22.8132 14.1101" width="22.8132pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 和数据窗口大小<年代pan class="nowrap"> 。从方程(1),我们可以发现,这种关系实际上是压缩比和之间的关系<年代pan class="nowrap"> 。

表7
x86/64:压缩文件大小的比较(B)。

图11
压缩文件大小和窗口大小的数据表7。

表8和图12显示和压缩/解压时间之间的关系<年代pan class="nowrap"> 。图12隐藏了解压时间,因为我们还没有优化ComZip的减压。当前减压程序只是验证ComZip的压缩算法是正确的,所以它可能会低于其他软件。我们首先关注压缩性能,优化的减压ComZip是我们未来的工作。

表8
x86/64:比较的文件压缩/解压时间(秒)。

图12
压缩时间和数据表的窗口大小8。

在图11和表7,我们观察到p7zip (<年代pan class="inline_break"> MB)压缩率最高<年代pan class="nowrap"> ,但我们应该知道它的总窗口大小。在这个实验中,p7zip有16个线程并行压缩。如果表7显示<年代pan class="inline_break"> MB,总窗口大小是8 GB。另一方面,我们可能比较ComZip的压缩比(<年代pan class="inline_break"> MB)和p7zip (<年代pan class="inline_break"> MB),因为他们的内存消耗接近:ComZip (5<年代vg height="8.8423pt" id="M259" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 或6<年代pan class="nowrap"> )vs p7zip (16<年代vg height="10.1524pt" id="M261" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 9.5<年代pan class="nowrap"> )。

所以,我们可能会考虑与巴布ComZip最佳压缩比在这些软件中,和lz4最坏的打算<年代vg height="8.8423pt" id="M263" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 8.28119 8.8423" width="8.28119pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 由于64 KB小窗口和单一匹配点的算法。我们也观察ComZip与巴布的压缩比明显高于没有巴布。但是,当<年代pan class="inline_break"> MB或更大,ComZip收益几乎相同的压缩比,尽管它是否使用巴布。原因是,窗户是大到足以看到2数据流或更多,巴布编码一样的效果。另一个特殊点<年代pan class="inline_break"> MB, ComZip也获得了几乎相同的压缩比,因为<年代pan class="inline_break"> 导致互相看不见的块和无用的BAB编码。

根据压缩速度如图12和表8,ComZip没有巴布(<年代pan class="inline_break"> MB)是最快的,而ComZip与巴布(<年代pan class="inline_break"> MB)和lz4非常接近了。lz4和ComZip压缩速度的优势,因为他们有时间复杂度O (<年代pan class="nowrap"> )。但我们观察异常曲线显示ComZip小<年代vg height="8.8423pt" id="M270" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 低于本身有一个很大的么<年代pan class="nowrap"> 。是大的原因<年代vg height="8.8423pt" id="M272" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 带来更多的匹配的机会和减少总编码操作。

p7zip的曲线是复杂的。当<年代pan class="inline_break"> MB, p7zip压缩也快。但是,当<年代vg height="8.8423pt" id="M274" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 16和64 MB之间,其速度迅速降低,适合时间复杂度O (<年代pan class="nowrap"> )。当<年代pan class="inline_break"> MB,窗户可以看到2数据流和匹配带来了大量的机会,而变化的趋势O (<年代pan class="nowrap"> )。当<年代pan class="inline_break"> MB,速度迅速降低因为内存要求数据窗口(16<年代vg height="10.1524pt" id="M279" style="vertical-align:-0.04990005pt" version="1.1" viewbox="-0.0498162 -10.1025 6.17869 10.1524" width="6.17869pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 9.5<年代pan class="nowrap"> )超过内存(64 GB)和VM(虚拟内存)。幸运的是,SSD的VM的速度比在硬盘(硬盘驱动器)。作为对比,ComZip可以使用64 GB RAM建立10 GB的数据窗口(6<年代pan class="nowrap"> )。

的gzip、bzip2压缩比和速度都没有竞争力,所以本文简单地提供了他们的结果。

最重要的是,这x86/64平台上的实验结果表明,在ComZip CZ-Array使用大数据窗口具有以下优点:高压缩比和速度,共享窗口,和高效的内存消耗。ComZip巴布可以有最高的压缩比和速度在这些软件中,这是实际的长河中数据压缩。

此外,实验数据是虚拟路由器OpenWRT图像文件,并且结果推断CZ-Array ComZip有潜力压缩大量的虚拟机文件云平台具有良好的性能。

5.2。测试在ARM平台上

这个平台是一个流行的覆盆子与以下设备:π3 b +手臂Cortex-A53 4核的CPU, 1 GB的DDR2内存,32 GB微SDXC (SD扩展能力)和Raspbian Linux 9。我们认为这个覆盆子π是当前重节点的移动传感器便宜。软件版本是:ComZip v20180421 (32 b), p7zip v16.02, bzip2 v1.0.6, lz4 v1.8.3, gzip v1.6。在这个实验中,ComZip用途<年代pan class="inline_break"> 。

表9和图13显示压缩文件大小的关系<年代vg height="14.0004pt" id="M283" style="vertical-align:-5.3645pt" version="1.1" viewbox="-0.0498162 -8.6359 21.4888 14.0004" width="21.4888pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 和数据窗口大小<年代pan class="nowrap"> 。表10和图14显示和压缩/解压时间之间的关系<年代pan class="nowrap"> 。

表9
手臂:压缩文件大小的比较(B)。

图13
压缩文件大小和窗口大小的数据表9。
表10
手臂:比较的文件压缩/解压时间(秒)。

图14
压缩时间和数据表的窗口大小10。

实验平台硬件的限制,特别是1 GB RAM。当<年代pan class="inline_break"> MB, ComZip中止对RAM不足。但其他软件更加糟糕。只有源代码可以使用它<年代pan class="inline_break"> MB (<年代pan class="inline_break"> )。 是并行压缩线程的数量。和p7zip只能支持<年代pan class="inline_break"> MB (<我>p =2)和<年代pan class="inline_break"> MB (<年代pan class="inline_break"> ),和更大的<年代vg height="8.8423pt" id="M293" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 不能工作。

图12和表9这个实验表明p7zip不能达到<年代pan class="inline_break"> MB,因此其压缩比不跟上ComZip巴布。然后,ComZip巴布有最好的压缩比,lz4有最坏的打算。

在图14和表10,我们观察到lz4是最快的,与巴布ComZip第二最快。我们估计的原因可能是CPU缓存手臂很小,适合小的64 KB数据窗口的lz4展示性能。ComZip, 4核的CPU限制了并行管道CZ编码的性能。

p7zip的曲线是复杂的。当<年代vg height="8.8423pt" id="M295" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 是2 - 8 MB,更大的吗<年代vg height="8.8423pt" id="M296" style="vertical-align:-0.2064009pt" version="1.1" viewbox="-0.0498162 -8.6359 11.0475 8.8423" width="11.0475pt" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> 带来更多的速度匹配的机会和好处,和RAM足以支持<年代pan class="inline_break"> 。当<年代pan class="inline_break"> MB (<年代pan class="inline_break"> )和<年代pan class="inline_break"> MB (<年代pan class="inline_break"> ),速度下降严重,因为压缩线程正在减少。再次,本文简单地提供了gzip、bzip2比较的结果。

最重要的是,这ARM平台的实验结果还表明,在ComZip CZ-Array高压缩比和速度。特别是在有限内存的一个传感器,在这些软件中,只有ComZip巴布可以看到2流或更多在数据窗口中,及其共享窗口带来高效的内存消耗。在这个平台上,ComZip巴布可以有最大的数据窗口中,最高的压缩比,第二个最快的速度在这些软件中,这是实际的长河中数据压缩。

从以上实验结果,我们可以得到一些支持CZ-Array的优点:大窗口和共享和高效的内存消耗,高压缩比和速度对比其他流行的压缩软件。这些结果提供一些参考的性能CZ-Array x86/64和ARM平台上运行,这可能推断出未来使用CZ-Array的可行性和实用性和电流传感器。

根据目前的结果,我们可以继续研究在以下几点我们未来的工作原理:<年代pan class="list">(1)分析压缩比之间的关系和匹配的机会(2)提高MLB和LZ77编码获得更好的压缩比(3)ComZip的压缩算法更好的优化速度(4)与GPU加速编码/解码,ASIC或其他硬件设备

6。结论

物联网的迅速扩张导致了许多传感器,产生大量的数据,使数据传输和存储的挑战。一个可取的方式要求是流数据压缩,可以治疗长河中内存有限的传感器数据。

但是传感器的长河中压缩的问题仍然存在。由于每个传感器的有限的计算资源,扩大的数据窗口没有快速减少编码/解码速度是一个问题。压缩多个数据流,在同一个窗口中看到他们受限于一个传感器的RAM是另一个问题。如果传感器需要硬件加速,简化硬件设计的压缩算法是必要的。

要解决这些问题,介绍了CZ-Array算法,包括巴布和MLB编码block-split编码算法。在共享ComZip CZ-Array实现。它支持目前高达512 GB的数据窗口,满足长河中数据压缩的要求。

分析表明,CZ-Array编码的时间复杂度O (<年代pan class="nowrap"> ),超过7 - zip和保持lz4,目前最快的压缩软件之一。CZ-Array编码的空间复杂度是O (<年代pan class="nowrap"> ),超过7 - zip和lz4多流并行压缩。所以CZ-Array的压缩比大数据窗口可以高。巴布的主要硬件设计和MLB推断的硬件加速CZ-Array相对容易实现。

实验结果支持,如果CZ-Array ComZip将多个数据流与它有能力获得最佳压缩比和最快的或第二压缩速度最快,在比较流行的压缩软件:p7zip, bzip2 lz4, gzip。和这些结果的性能提供参考CZ-Array x86/64和ARM平台上运行,这可能推断它是可行的和实际使用CZ-Array将来和电流传感器。

另一方面,这些实验结果也提供一些证明CZ-Array的弱点。比较p7zip, ComZip的压缩比,而巴布不够高。原因是参数<我>视线限制匹配的机会。

数据可用性

使用的数据来支持本研究的结果包括在本文中。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

本文由广东省重点研发项目(2018 b010113001 2019 b010137001),广州中国科学技术基金会(201802010023,201802010023),中央大学和基础研究基金。

引用

  1. s . h . g . y . Lee李,h . j . Kwon”基于dct HDR接触融合使用multiexposed图像传感器,”<我>杂志上的传感器ID 2837970条,卷。2017年,14页,2017。

    视图: 出版商的网站 | 谷歌学术搜索

  2. c . m . Li k . z邓j.y.太阳,和h·王,“压缩传感,pseudodictionary-based,超限分辨重建。”<我>杂志上的传感器卷,2016篇文章ID 1250538、9页,2016。

    视图: 出版商的网站 | 谷歌学术搜索

  3. j . c .秦y和z呗,”设计质量数据压缩的新格式”,<我>《中国邮电大学,18卷,不。1,第128 - 121页,2011。

    视图: 出版商的网站 | 谷歌学术搜索

  4. j . c .秦、y .问:陆和y中,“无线数据压缩和加密,并行算法”<我>杂志上的传感器卷,2017篇文章ID 4209397, 11页,2017年。

    视图: 出版商的网站 | 谷歌学术搜索

  5. j·齐夫和A . Lempel“通用顺序数据压缩的算法,”<我>IEEE信息理论,23卷,不。3、337 - 343年,1977页。

    视图: 出版商的网站 | 谷歌学术搜索

  6. j . c .秦、y .问:陆和y中,“截断burrows - wheeler变换的快速算法的数据压缩编码传感器,”<我>杂志上的传感器ID 6908760条,卷。2018年,17页,2018。

    视图: 出版商的网站 | 谷歌学术搜索

  7. m·阿利斯泰尔·m·n·雷德福,h·w·伊恩,算术编码重新审视,“<我>一个CM交易信息系统,16卷,不。3、256 - 294年,1998页。

    视图: 谷歌学术搜索

  8. m .洞穴和d·j·惠勒<我>一块分类无损数据压缩算法,数字系统研究中心,1994年。

  9. j·l·本特利·d·d·看到r . e . Tarjan v . k . Wei,“局部自适应数据压缩方案,”<我>一个CM的通信卷,29号4、320 - 330年,1986页。

    视图: 出版商的网站 | 谷歌学术搜索

  10. m . Alistair“实现PPM数据压缩方案,”<我>IEEE通信,38卷,不。11日,第1921 - 1917页,1990年。

    视图: 出版商的网站 | 谷歌学术搜索

  11. n Timoshevskaya和w·c·冯SAIS-OPT: sa)算法的描述和优化后缀数组建设”<我>第四届IEEE国际会议上计算生物和医学科学的进步(ICCABS)美国佛罗里达州,页1 - 6,2014。

    视图: 谷歌学术搜索

  12. 美国-拜尔,<我>线性时间后缀排序——后缀数组构造的新方法乌尔姆大学硕士论文,2015年。

  13. f·侯赛因和j·宋”,有效深层神经网络对数字图像压缩采用修正线性神经元,”<我>杂志上的传感器卷,2016篇文章ID 3184840, 7页,2016。

    视图: 出版商的网站 | 谷歌学术搜索

  14. g . l . Sicuranza g . Ramponi,马西人,“人工神经网络用于图像压缩,<我>电子信件,26卷,不。7,477 - 479年,1990页。

    视图: 出版商的网站 | 谷歌学术搜索

  15. j .江”,与神经网络图像压缩——一项调查,”<我>信号处理:图像通信,14卷,不。9日,第760 - 737页,1999年。

    视图: 谷歌学术搜索

  16. p c .曾y . c . Chang黄y . w . h . c, c·t·黄和l . g . Chen”图像和视频编码的硬件架构的进步——一项调查,”<我>IEEE学报》,卷93,不。1,第197 - 184页,2005。

    视图: 出版商的网站 | 谷歌学术搜索

  17. s·m·李,j . h .张成泽j . h .哦,j·k·金和s .李”设计的硬件加速器Lempel-Ziv 4 (LZ4)压缩,”<我>IEICE电子表达,14卷,不。11、1 - 6,2017页。

    视图: 出版商的网站 | 谷歌学术搜索

  18. i Cheema和a . a . Khokhar”高性能计算burrows - wheeler变换fpga架构,”<我>国际会议上可重构fpga学报》上2013年,页1 - 6,墨西哥坎昆。

    视图: 谷歌学术搜索

  19. s . Funasaka k Nakano y Ito,“自适应的无损数据压缩方法优化了GPU减压,“<我>并发性和Computation-practice &经验卷,29号24日,2017年。

    视图: 出版商的网站 | 谷歌学术搜索

  20. a Ozsoy和m . Swany CULZSS: CUDA上降落区无损数据压缩”<我>2011年IEEE集群计算国际会议奥斯汀,页403 - 411年,TX,美国,2011年。

    视图: 出版商的网站 | 谷歌学术搜索

  21. m .托和s .基尔“平行后缀数组GPU和最常见的前缀,“<我>一个CM SIGPLAN通知,48卷,不。8,197 - 206年,2013页。

    视图: 出版商的网站 | 谷歌学术搜索

  22. d·a·帕特森,陈平,g·吉布森和r·h·卡兹”介绍廉价磁盘冗余阵列(RAID),”<我>国际工程师协会下属的计算机协会的国际会议:知识的利用旧金山,页112 - 117年,CA,美国,1989年。

    视图: 出版商的网站 | 谷歌学术搜索
版权©2020秦建成et al。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。
PDF 下载引用
订单打印副本
的观点
1925年
下载
985年
引用