车辆文本数据压缩和基于最大熵的神经网络的传输方法和优化的哈夫曼编码算法

文摘

因为车辆硬件的不断进步,车辆不能加载复杂算法的条件已不复存在。与此同时,随着车辆硬件的进步,文本显示指数增长在实际操作。为了优化大规模数据传输的效率,在实际操作中,本文提出的文本信息(包括位置信息)的最大熵原理概率神经网络预测模型结合哈夫曼编码优化算法,优化数据交换的数据压缩,传输和减压的整个过程。试验结果表明,文本类型车辆信息基于压缩算法来优化数据压缩和传输的算法可以有效地实现数据压缩。它还可以实现高压缩率和数据传输的完整性,减压后,它可以保证不失真。本文提出的方法具有十分重要的意义对于提高车辆文本信息的传输效率,提高文本信息的可解释性和完整性,实现车辆监控和掌握实时的交通状况。

1。介绍

在流量随着移动互联网的普及,移动互联网的应用工况和越来越多的运营车辆导致了大量的实际操作中的数据。虽然硬件已经取得了很大的进步,最重要的一个问题是,它仍然需要大量的数据的速度移动互联网应用解决方案。虽然沟通成本大大降低,它不仅可以满足应用程序的实际运行需求单位还节省无线数据传输成本,这仍是一个关键问题需要解决在当前的行业。文本信息传输后压缩是解决这个问题的关键。此外,这种方法可以接受,因为它能满足数据传输延迟和数据质量指标由用户单位在制定复杂的城市交流环境。许多学者在这方面做了大量有效的实践研究。为了提高无线数据传输的质量和效率,研究人员已经提出了各种各样的文本数据压缩和传输算法。例如,孟[1施],[2],Sharma [3],Hashemian [4),和其他学者提出了霍夫曼编码技术对GPS文本数据无线传输解决文本数据压缩和传输的问题。巴尔(5王],[6),周素卿(7),和胡8)提出了一个优化的LZW压缩算法。通过建立一个快速查找字典的方法,数据压缩的时间大大减少,达到优化压缩,提高传输效率。近年来,无线传输压缩使用小波压缩(9)方法已经成为研究热点。在交通信息化研究,张10)实现基于GML数据交通紧急数据的压缩,实现城市交通应急系统的部署架构;李(11)原始高维数据投影到低维空间通过一个随机矩阵与一个限制性的等距条件和实现数据的高效和快速压缩。数据传输,数据解压之后的交通信息处理凸优化算法。根据交通流数据的特征,主成分分析和独立成分分析的方法通过赵(12研究和比较数据压缩。在某种程度上,先前的研究结果的应用程序提供了技术和方法上的参考文本数据传输终端。然而,由于城市移动通信基站的分布不均,导致城市通信环境截然不同,不同部分的数据传输能力是相当不同的城市,甚至一些地区出现,通信盲区域。这些方法很少使用在汽车终端数据采集和传输,很少考虑到不同的通信环境中实现实时数据传输。在城市地区通信基站覆盖不均匀和通信环境的变化,如何优化压缩和传输的文本和其他信息是一个实际应用的主要问题。此外,大量的文本数据的传播需要更多的能源消耗,和低功率传输(12)是重要的延长各种设备的工作时间。因此,在本文中,传输压缩方法基于最大熵优化神经网络和哈夫曼编码算法为了简化算法,缩短计算时间,减少采集终端和后台服务器的开销。车辆信息收集后数据传输方法的优化具有十分重要的意义对于提高车辆文本信息的传输效率,提高文本信息的可解释性和完整性,实现车辆监控和掌握实时的交通状况。

2。车辆信息数据压缩方法

根据移动互联网的应用程序需求,运营商收集的车辆信息包括位置、速度、高度、牌照、车辆状态,驾驶条件下,司机、乘客位置,和其他的文本信息。不同的数据格式、大小和类型通过数据交换,通过车辆终端无线通信模块上传。

在这篇文章中,一个压缩/解压缩模式可以保证数据传输的完整性,可以减少数据流量,并能减少沟通成本。然而,压缩在终端的缺点是需要压缩,每组数据的传输延迟。车辆终端硬件有一个高性能的硬件配置,为压缩车辆终端技术问题,和处理大量的数据,同时确保数据压缩和传输的数据收集工作;两部作品不构成影响或干扰。

2.1。基于最大熵的神经网络的数据压缩算法

由于移动终端硬件的限制,在过去的实际应用较少的数据压缩进行了车辆终端。虽然车辆终端的硬件技术水平和性能指标不断改善,压缩和传输的同时,收购将不可避免地导致一定数量的终端开销。出于这个原因,在选择和使用文本数据压缩算法,本文遵循以下原则:在有限的带宽资源,我们必须达到一个更好的压缩传输效果比传统的算法,该算法不能太复杂,这样我们可以避免影响压缩传输效率,并且不能占用太多的内存(占用太多内存会影响数据采集和其他入住率)。消耗大量内存的其他应用程序,通用传输协议,等。基于实际应用需求,本文使用单独的压缩,统一包装、发送等。

最近神经网络压缩技术已经取得了很大的进步,取得了非常好的成果在计算机视觉中,语音识别,机器翻译。同时,移动计算平台的普及也意味着许多移动应用也希望获得这种能力。然而,面临的挑战是,深度学习神经网络一般大,因此很难融入移动应用程序(因为这类应用程序需要下载到移动设备和也频繁更新)。在车载终端硬件条件相对贫穷的条件下,如果使用基于云的解决方案的具体应用和产业,网络延迟和隐私将成为一个问题。解决方案是显著降低深度学习模型的大小。一般压缩神经网络模型由三个步骤组成:切割连接并不重要;加强量化的重量;利用哈夫曼编码。

2.2。最大熵的神经网络

数据压缩方法,人工神经网络已成为一般的无损压缩的理想选择(13,14]。算法数据处理也一直在研究[15,16]。的特色之一的神经网络数据压缩方法是获得更高的压缩比和压缩速度,但这是一个弱点在一定的时间内网络的培训需求,它需要两个扫描的数据,这使得实时数据压缩困难。

为了得到真正的概率分布和一致的预测结果,我们需要从样本数据中获得知识和使用这些知识建立统计模型应与实际情况的分布一致。然后我们选择一个最大熵;看起来绝对优势(17,18]。最大熵神经网络描述如下(17,18]。

假设 , ,因为 ,这个公式可以写成 ,在哪里 。

一个算法用于调整吗直到符合已知的概率 ;这导致一个概率模型,满足条件的限制和约束下的最大熵。模型和神经网络以类似的方式工作。事实上,神经网络模型可以用来解决这个问题。

一个两层神经网络用于预测基于上下文特征概率分布模型。每一个可能的环境和一个输入神经元表示为 ,每个可能的输出特征上下文表示为一个输出神经元 ,每个输入和输出神经元的重量连接它们。

在预测(表明一个变量或nonvariable已经进入,假设当前的输入变量或nonvariable吗 ),所有相应的输入神经元的上下文设置 ,和其他所有的输入都设置为0;因此,输出可以表示为 ,在哪里 。

然后,代表下一个字符的概率是多少 ,和它的形式与通过使用获得的结果是一致的和最大熵原理。调整自适应输出可以满足所有的约束。神经网络模型中权重自适应更新,所有权和初始值设置为根据实际调整和修改重量输入字符每次预测来减少错误。这个公式是 。 代表了误差函数,这是区别真正的概率和下一个字符的预测值;和表示学习速率。因此,通过使用这种模型误差控制调整与最大熵原理,概率模型可以满足要求。

2.3。优化的哈夫曼编码方法

为了定位文本信息,如位置,GPS信息,等等,本文采用哈夫曼编码技术(10,11)有效地压缩GPS数据和文本数据传输。考虑到工作环境的各种操作车辆,选择文本数据压缩算法的车辆操作状态遵循以下原则:少计算,快速压缩,算法简单,容易实现。同时,根据有限的带宽资源,必须达到一个更好的压缩效果,和算法不能太复杂,这样我们可以避免影响压缩传输效率,从而满足硬件需求;要求使用组件和交流的环境。文本数据(包括GPS /北斗定位信息)主要是收集的车载设备的操作车辆。霍夫曼编码技术(12)用于有效的无损压缩GPS /北斗位置数据传输和其他文本操作车辆的运行状态数据。

哈夫曼编码原则是解释19,20.]。表示文本的字符由一组表示 ,在哪里代表不同的文本字符。假设角色的频率是 ,和编码长度 。使源文本文件的总长度最短的,我们需要确定编码方法 ,这使得的价值吗最小值。哈夫曼编码是基于哈夫曼树结构,并构造哈夫曼树如下(3,4,21]。

(1)根据给定的重量、 构成一组二叉树 ,在每棵树只有一个根节点的重量吗 ,和它的左右子树是空的。

(2)选择两个根节点的最小重量树的左、右子树 ,并构建一个新的二叉树。同时,权重的新二叉树的根节点设置为根节点的权重之和的左和右子树。

(3)删除的两棵树 ,并添加新的二叉树 。

(4)重复步骤(2)和(3),直到只包含一个树;这最后的树是哈夫曼树。

通常,有很多重复的字符在文本数据,如位置信息。重复的字符的位置信息和其他文本数据在车辆信息可以被视为冗余信息被删除。在此基础上,霍夫曼压缩编码表用于压缩处理数据快。这个数据是存储在一个数据存储缓冲区数据后处理。霍夫曼压缩表pregenerated字符出现在文本数据的数量由后台服务器和预存储在车辆终端Flash。

哈夫曼编码方法构造编码完全根据字符出现的概率。霍夫曼编码没有考虑错误保护。算法需要计算的概率发生的源符号,以获取源符号的概率分布比例。人们普遍认为,在编码和解码算法是复杂的,这是不利于硬件实现的17,18]。哈夫曼编码和算术编码是典型的概率模型。许多学者提出了字典模型的优化问题。典型的算法,例如LZW算法(4,15]。LZW算法具有较高的计算效率,反映在压缩和解压缩的速度,压缩文本数据,只需要扫描一次。重复率高的输入流的源字符,该算法的压缩率相对较高。然而,算法的适应性差,和复杂性较低的一些文件通常需要结合其他压缩算法来达到预期的目标。LZW算法不能用于车辆状态文本数据。

虽然哈夫曼编码方法有一定的局限性,如需要输入符号流两次扫描、存储或传输的哈夫曼编码结果必须发生在哈夫曼树。这种方法具有压缩率高、简单性和实用性,和文本数据编码和解码时具有独特的信件。因此,哈夫曼编码方法非常适合与更高的识别要求车辆信息数据。为了解决传统的霍夫曼编码的实际问题,如大型缓冲区和高复杂性,本文改进了霍夫曼树结构神经网络通过使用最大熵(21,22]。主要步骤如下:

(1)初始化建立了二进制哈夫曼树,任意选择一个根节点,根节点的权重设置为0。

(2)对于不编码的新角色,新生成的节点连接的两个节点的父节点,其他节点,有重量的0,定义了一个新的重量的0。

(3)找到的位置编码通过寻找新的字符编码,权重和节点具有相同的编码进行了比较。

(4)不重要的连接。

(5)量化神经网络,加强和调整每个节点的重量。

(6)按照大的原则的节点数量较大的权重和更多的相应代码,交换节点符合原则。

(7)重复步骤(2)到(6)直到所有字符的编码。

改进的霍夫曼编码方法设置根节点为0的重量,从而减少的次数,流需要扫描一个象征。经过优化和调整神经网络的权值,只有一个字符一个概率1是扫描的计算。只有节点之间交换数据是二叉树,这不仅减少了大量的缓存占用,而且还降低了算法的复杂性。方法的缺点主要是反映在编码错误的损失保护和相对较高的数据需求。

3所示。实验和结果

根据文本数据实时传输的要求在实际操作中,本文使用了一个3 g / 4 g无线网络作为数据传输通道来完成数据传输测试。在3 g / 4 g无线网络,载波频率用于数据通信,并只能由用户单独使用。在车辆文本数据采集环境中,由于影响通信环境和用户的数量,实际的无线数据传输速率和理论无线传输速率往往有很大的不同。此外,成功的文本数据传输的传输优先级策略进一步验证了terminal-to-terminal测试在现实环境。

3.1。数据传输测试

城乡边缘区被选中作为数据传输的测试位置。这种通信环境复杂的要求测试环境。我们进行两个测试:一个网络延迟测试和TCP传输速率测试。测试环境使用联通3 g / 4 g无线网络,我们意识到通过车载终端数据上载到服务器。在3 g / 4 g网络,延迟通常是衡量往返时间。低延迟的实际应用是极其重要的。降低数据传输的延迟,提高了上行容量和数据吞吐量和增加了高比特率传输的报道。通常,数据传输测试使用平方法,获得连接服务器的响应时间上传数据包发送和接收上传数据包响应时间。PING请求数据包的发送数据上传将首先发送序号顺序和响应消息也标志着相应的序列,然后通过观察平响应消息的数据包检测链接,如包丢失,数据包重复和错误的序列数据传输延迟估计。

我们上传几个村庄环境测试(上午10点开始)。为每个测试我们发送一个ICMP包总共240。3 g / 4 g无线带宽速率是120 - 720 kbps(城市3 g / 4 g无线带宽速率大约是960 - 2400 kbps)。TCP传输速度类似于3 g / 4 g带宽率(表1)。

在数据上传测试,上传数据包的最大延迟时间是15205.6毫秒,和平均延迟时间是3638.6毫秒。上传的数据基本上满足实时数据上传的要求。当网络带宽是120 - 720 kbps,平均丢包率的3 g / 4 g网络是4.334%。此外,从数据上传测试结果,看来沟通环境相对贫穷的乡村地区。

3.2。数据压缩和解压缩测试

的基础上,建立了车辆终端、3 g / 4 g网络,和后台服务器系统,收集到的车载信息压缩,传输,和测试。我们比较的结果压缩数据传输和压缩数据传输。数据压缩的主要评价参数影响压缩率和传输时间。压缩率是最重要的一个指标来衡量质量的数据压缩算法。这是一个直观的衡量数据压缩的程度。运行时间显示算法的复杂性。这两个指标的结合可以让我们进一步提高通信效率。传输错误率的比例是解析后的数据(包括减压数据)之前的长度数据压缩时,服务器接收文本数据;传输损耗速率的比值的数据包数量的服务器不接收车载终端发送的数据包的数量。

表2介绍了压缩传输的比较测试结果使用四种算法:原始文本数据,哈夫曼编码,LZW,最大熵神经网络结合Huffman编码。按照数据采集和传输技术的要求,我们用15秒,10 s,和5 s数据采集周期;采集时间为300分钟,收购定制的公共交通车辆操作状态数据作为测试数据来源,原始数据和数据传输通过集中式算法的结果进行了比较。

我们得到了最好的测试结果在最大熵的神经网络结合哈夫曼编码技术和数据采集周期是15秒。实验结果进一步验证和较少的数据传输方式和传输时间短可以达到更低的传输误码率和丢包率。最大熵的神经网络结合哈夫曼编码技术减少计算和更高的压缩效率。适用于数据传输在城市或郊区的村庄。LZW算法,该算法在全局或局部关联数据具有更好的压缩效率,但车辆工作状态数据字段之间的相关性相对较低,导致有限的应用程序。LZW算法的压缩效率比最大熵的神经网络结合哈夫曼编码算法。为了提高车辆状态数据的实时应用程序的效率,有必要避免状态数据的实时传输需要占用大量的内存和数据传输通道。测试数据压缩和传输的筛选和鉴定表所示3。

实验结果表明,该传输误码率和丢包率很低,当原始数据不是压缩,并对实际操作的影响在可接受的范围之内的。使用哈夫曼编码、LZW最大熵的神经网络结合哈夫曼编码算法,神经网络和最大熵结合哈夫曼编码能够实现一个相对较高的压缩率,相对较低的传输误码率和丢包率,和比其他方法更好的结果。

压缩后的数据筛选和传播;数据需要发送将会大大减少,和传输模式极大地压缩实时数据传输,保证数据传输和实时应用程序。此外,数据传输误码率和丢包率下降。此外,从文本数据采集周期,可以看出,文本数据采样周期越小,越接近相邻数据,压缩率越高获得的各种算法,特别是当数据是高度相关的。可以大大提高系统的通信效率和通信成本可以通过相关操作大大减少。

为了进一步验证文本数据压缩算法的效率,本文比较了恢复与原文本数据压缩的文本数据。神经网络的交换数据与最大熵和哈夫曼编码技术和数据压缩方法压缩数据。原始数据文件和压缩数据文件发送到服务器通过3 g / 4 g无线网络。前后压缩,传输数据读取数据文件接收到服务器,然后解压缩和反量化。应该注意的是,使用的速度测试数据是乘客的驾驶数据总线中运行4天的连续状态。乘客总线数据获得平均段10年代,和速度的数据生成期间总共12361(理论价值应该是12600;在数据收集的过程中由于各种原因,有239个错误或丢失,没有样品)。数据压缩前的速度变化曲线如图1。数据压缩后,速度变化曲线如图2。图的横坐标1和2展示了速度数据采集时间秩序,纵坐标表示速度值。图3提出了一种比较的误差值之前和之后的数据压缩,横坐标表示,数据采集时间序列,纵坐标表示解压速度值之间的差异和预先压缩速度值。

从数据我们可以看到1- - - - - -3之后,压缩、传输、解析、减压、存储、压缩传输之前的数据基本上是一致的。编码、压缩和其他数据处理技术满足实际应用的要求。为了准确地描述数据差异之前和之后的压缩和文本数据的传输,本文使用标准差来区分前后数据压缩和传输。之前和之后的均方偏差数据压缩和传输只有0.2314,这是在合理的范围内。数据偏差的主要原因,数据丢失,数据传输期间数据不能被解析。

在12600年的速度由车载终端发送的数据,12361年的数据可以准确地解析。数据的准确传输和解析率为98.10%;这基本上符合实际应用的要求。有239个错误,失去了,也没有收集的数据。样本包含59错误数据,占总数的0.47%的数据,134年数据丢失,丢包率,占总数的1.06%的数据。此外,由于各种原因,没有数据采集46名,占总数的0.37%的数据。实验结果表明,该算法具有较高的压缩效率和传输完整,能满足实际应用的要求。

4所示。结论

集合类型的文本信息(包括位置信息)使用最大熵概率神经网络预测模型结合哈夫曼编码的优化技术实现数据传输,最终实现接收、分析减压,车辆信息和存储。根据测试结果算法是有效的。数据的准确传输和分析,98.10%的比例基本满足实际应用的要求。同时,算法中起着重要的作用在提高文本数据无线传输的效率,降低数据传输的成本和时间,具有十分重要的现实意义和基站部署、沟通的方式和使用等。本文中提到的数据压缩方法是可靠传输和很少的失真。它可以为城市环境提供可靠的数据传输与不同的基站覆盖。此外,它可以从车辆提高文本信息的传输效率,并确保这些文本信息的完整性。此外,实现交通运输行业节能减排发展具有重要意义。

数据可用性

本文所有的数据收集从作者在实际应用环境中。原始环境通信数据来源于车载移动路由设备所产生的原始数据。数据不能被使用,不能被访问。原因是数据通道是由中国联通。我们签署了一份数据与中国联通利用协议。该协议规定,没有数据或服务可以提供给第三方机构或个人。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究得到了国家自然科学基金(没有。41301582)、特殊广东省前沿和关键技术创新基金(省科技重大项目)(2015号。2014 b010112008 2015 a070710016 b010106001, 2015 b010129003,和2016 b010109007),和广州的珠江科技新星计划(没有。201610010034)。

引用

1. m . Fanyog霍夫曼编码的研究和应用在环境保护真正的监控系统(主人,论文),中国海洋大学,2010。
2. 李施p、m . t . Yu l .赵和j .王”设计和应用基于霍夫曼编码的XML数据压缩算法,”北京化工大学学报(自然科学版),40卷,不。4、120 - 124年,2013页。视图:谷歌学术搜索
3. m·沙玛,“使用霍夫曼编码压缩,”国际计算机科学杂志和网络安全,10卷,不。5,133 - 141年,2010页。视图:谷歌学术搜索
4. r . Hashemian”,凝聚霍夫曼编码表,一种新的有效的解码方法,”IEEE通信,52卷,不。1,6 - 8,2004页。视图:出版商的网站|谷歌学术搜索
5. k·c·巴尔和k . Asanović“节能意识无损数据压缩,”ACM交易计算机系统,24卷,不。3、250 - 291年,2006页。视图:出版商的网站|谷歌学术搜索
6. w,问:春,l .新民”修改LZW算法及其参数优化,重庆邮电大学学报,17卷,不。3、351 - 355年,2005页。视图:谷歌学术搜索
7. j . m .周素卿P.-Y。陈”,一个快速和有效的无损数据压缩方法,”IEEE通信卷,47号9日,第1283 - 1278页,1999年。视图:出版商的网站|谷歌学术搜索
8. h . Ping和z晋中”,研究和实现终端数据压缩技术在re-mote故障诊断系统中,“计算机工程与应用,48卷,不。34岁,130 - 135年,2012页。视图:谷歌学术搜索
9. 工程学系。杨、y贾和S.-W。周,“虚拟节点小波压缩算法对无线传感器网络来说,“阮剑雪包/软件学报,24卷,不。3、557 - 563年,2013页。视图:谷歌学术搜索
10. z支,基于ArcGIS Server乌鲁木齐交通应急系统等数据压缩技术研究[硕士论文,]新疆大学出版社,2012年。
11. Q.-Q。李,y, y曰et al .,“交通流数据的压缩方法基于压缩传感、”交通运输工程杂志》上,12卷,不。3、113 - 126年,2012页。视图:谷歌学术搜索
12. y z赵、张、j·胡和l·李”比较研究基于PCA和ICA的交通流压缩,”高速公路和交通研究期刊》的研究和发展,25卷,不。11日,第114 - 109页,2009年。视图:出版商的网站|谷歌学术搜索
13. c·杨,李z, r .崔,徐,”神经网络运动控制数学模型的轮式倒立摆模型,”IEEE神经网络和学习系统,25卷,不。11日,第2016 - 2004页,2014年。视图:谷歌学术搜索
14. 江c·杨,y, z, w .他和彭译葶。苏,”神经控制与保证全球稳定和运动精度,用双手的机器人”IEEE工业信息,13卷,不。3、1162 - 1171年,2017页。视图:出版商的网站|谷歌学术搜索
15. w·夏·赵y温家宝et al .,”一个调查数据中心网络(宽带):基础设施和运营,”IEEE通信调查和教程,19卷,不。1,第656 - 640页,2017。视图:出版商的网站|谷歌学术搜索
16. w·朱y温、s . Yu和z . Wang“特殊部分数据驱动设计边缘网络和边缘云序言,“计算机科学与技术杂志》上没有,卷。31日。6,1069 - 1071年,2016页。视图:出版商的网站|谷歌学术搜索|MathSciNet
17. r . Logeswaran和c . Eswarab”几个无损压缩算法的性能调查遥测应用程序中,“计算机应用,22卷,不。1、1 - 9,2001页。视图:谷歌学术搜索
18. 傅y, J.-L。周、吴y“无损数据压缩与神经网络基于最大熵理论,“电子科技大学学报,36卷,不。6,1245 - 1248年,2007页。视图:谷歌学术搜索
19. y Jingfeng l .勇z,南枫,h . Jiarong x越剧,“车辆信息压缩和传输方法基础上混合数据类型,“国际地球科学与工程杂志》上,7卷,不。3、1141 - 1150年,2014页。视图:谷歌学术搜索
20. y Jingfeng l .勇z,南枫et al .,“纯电动公交车状态信息压缩和传输方法基础上优化霍夫曼编码算法,”计算机建模和新技术,18卷,不。11日,第1216 - 1209页,2014年。视图:谷歌学术搜索
21. j·杨:张m .李et al .,“车辆信息影响程度基于gep的筛查方法优化的rbf神经网络,”复杂性卷,2018篇文章ID 1067927, 12页,2018。视图:出版商的网站|谷歌学术搜索
22. l . a, c . Wu郑,r ., x,和c .傅”农业为移动终端无线数据传输技术,”中国农业机械学会的事务,40卷,不。1,第247 - 244页,2009。视图:谷歌学术搜索

版权

版权©2019杨Jingfeng et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。