文摘
随着社会经济的逐步繁荣,人们对农产品消费的需求也逐渐增加。通过高效的大数据技术的介绍,我们可以优化和创新农产品冷链物流企业的管理系统,有效地实现企业物流管理的现代化,提高农产品冷链物流企业的管理效率。使用大数据技术可以提高信息对接的效率,提高企业客户的粘性,加快冷链物流数据的增值。本研究介绍了常见的聚类算法领域的冷链物流,强调了谱聚类算法。谱聚类算法不仅降低了错误率也明显减少了时间在聚类过程中,它显示了应用程序的有效性和可行性的谱聚类算法在中国农产品冷链物流行业。
1。介绍
农产品是一个广泛的概念,它不仅指的是蔬菜和水果,还包括初级产品和初级加工产品的各种动物和植物产生的农业产业,如农业、林业、畜牧业、渔业;具体的品种包括谷物、蔬菜和水果种植业;橡胶、松香、林业和漆;肉、蛋、奶等畜牧业;海洋渔业和淡水产品的产品。中国社会主义经济的不断发展,人们对农产品的需求增加(1,2]。逐步改善的需求主要包括农产品的需求分布和高度重视农产品的新鲜度。农产品冷链物流是指一个特殊的供应链系统,新鲜的产品,如肉类、家禽、水产品、蔬菜、水果、和鸡蛋总是控制在一个合适的低温环境的链接产品加工、储存、运输、分销、零售在收获之后,屠杀,或从起源、捕捞,最大化产品的品质和质量安全,减少损失,防止污染。中国冷链物流行业的发展主要分为三个阶段。1988年,农产品冷链行业只是处于起步阶段,和资源非常稀缺。没有“冷链物流”的概念,为企业从事物流行业在中国。连锁超市在一线城市如北京、上海和广州开始发芽,和超市开始大量使用冰箱,确保店内销售,促进食品冷链的发展。然而,由于冷链设备和技术的落后,许多企业的想法只能依赖修改冷藏卡车运输。同时,由于整个市场处于起步阶段,冷链物流的利润也非常丰富,整个行业在资源短缺的阶段。自2007年以来,中国已经开始关注农产品冷链物流的必要性。 The national development and reform commission has issued the first cold chain plan. At the same time, many TV programs and news have begun to popularize the concept of cold chain logistics. Therefore, in the decade from 2008 to 2017, China’s frozen food industry and cold chain logistics have developed rapidly. Since 2018, the cold chain market of agricultural products logistics has further changed, the cold chain demand for fresh agricultural products has exploded, the infrastructure system has been increasingly improved, and new technologies have driven the industry strongly.
中国是一个传统的农业国家,人口多,农业产品的年消费量也很多。据中国冷链物流发展报告(2020),近年来,中国的增长率冷链物流行业市场规模已经达到了14%,但仍有大量的产品损失,和每日损失农产品可以满足2亿人的日常需要。原因是不完美的标准建设农产品冷链造成严重损失,包括装卸标准、操作程序、检验机制、运输、仓储、配送、销售。同时,该报告还显示,易腐产品的年消费量约为十亿吨,在中国流传和货物需要通过冷链物流约占50%。近年来,冷藏食品的使用增加了每年约10%,但冷藏运输体积不大,达到大约15%的整个过程。相比之下,一些发达国家,80% - -90%的差距远(3]。
在整个农产品冷链模式,间歇性关闭制冷设备和货物转运站的处理不当导致的冷链中断,不能维持整个制冷过程,严重影响农产品的质量4]。随着冷链分解时间,我们可以收集大量有用的信息数据。为了有效地管理这些信息数据,需要处理这些信息数据和大数据技术的帮助和指导下一个过程的安排。
今天,大数据技术迅速发展,并在许多领域产生重大影响。大数据的发展是促进科学和技术的发展过程。大数据所带来的影响不仅体现在互联网领域也在许多领域,如金融、教育和卫生保健。在人工智能领域的研究和发展,大数据也起着重要的作用,特别是在机器学习、计算机视觉、自然语言处理。大数据正在成为智能社会的基础。其先进的技术理念,以及高效的大规模数据的存储和计算能力,可以提高生产率的行业,帮助人们理解事务的发展的客观规律,帮助科学决策,使相关领域有更好的发展前景。目前,农产品冷链物流的规模在中国迅速扩张(5]。因为农产品易腐,农产品冷链物流的整个过程有严格要求的温度和湿度,氧气含量,运输时间控制,等等。在信息和数据的时代,最有效的方法来改善农产品冷链物流的配送效率,降低运输成本,提高客户满意度是存储过程,并分析相关的冷链物流数据科学、合理,从而提高农产品冷链物流的情报。因此,有必要研究如何实现大数据技术的应用在农业领域的冷链物流。
农产品冷链物流管理系统基于大数据是一个复杂的系统工程,每个环节会产生大量的数据。因此,它是非常重要的开发一个合适的小文件集成模式下的农产品冷链物流大数据模型。各种解决方案的性能分析算法需要大量的文献研究。选择一个有效的算法来模拟和解决需要一定的理论模型和代码功能,以及实现过程是很困难的。本研究的主要内容是探讨大数据技术的发展趋势在冷链物流行业和详细介绍谱聚类算法的重要性,为后续研究提供参考。
2。相关工作
2.1。农产品冷链物流的现状
如今,人们的生活质量越来越高,和对农产品冷链物流的需求也在不断上升,但全国各地发展不平衡6]。在这个阶段,中国农产品冷链物流的主要特点如下:(1)农产品冷链物流的建设成本高,规模很大。(2)为了确保系统的敏捷性和高利润率和减少损失的农产品生产和流通过程中,有高要求系统的网络信息技术的能力。由于冷链物流的高要求和农产品的特点,冷链物流必须使用信息技术来监控农产品在多个方向的整个过程7]。(3)每个链接的冷链物流需要更好的组织和协调,因为农产品冷链有严格的及时性,冷链物流有很多链接,和每个链接的主要功能也不同。(4)高能源消耗。因为冷链物流需要冷藏和运输产品在低温环境中,它需要大量的电力和其他能源。(5)高的风险。农产品冷链物流是容易受到市场供求,季节和天气,交通,和其他因素,而收入受损,高的风险。
目前,中国的经济已经进入了新的标准,深入各行各业的发展。其中,作为全国物流行业的焦点,冷链物流的发展取得了初步成果。没有。2011中央文件高度重视冷链物流的发展和冷链物流体系的建设8]。2014年,国家发布了指导意见进一步推动冷链运输物流企业的健康发展,指出有必要加强先进信息技术的应用领域的冷链物流(9]。2018年,冷链物流、快递物流、物流和电子商务是三个关键的发展领域,转换和发展现代物流将迎来一场战争。2019年,北方铁路物流节点建设为契机,促进了连接的皮带和道路设施。哈尔滨欧洲集装箱出口冷链的火车将在2022年推出10]。据中国冷链物流发展报告(2020),中国冷链运输行业的需求正以每年30%的速度增长。目前,中国的冷链物流体系并不完美,运输规模小且分散,基础设施建设落后,产品容易损失。因此,我们应该开始探索农产品冷链物流系统的建设路径,以帮助农产品冷链物流的快速发展经济(11]。
如图1,中国主要农产品的冷链运输率一直低于发达国家(12]。从图可以看出1目前,中国农产品冷链运输率仅为15%,水产品的仅为40%,远低于国外的冷链运输率近100%。即使有这样的运输率低,链断裂也有10%和17%,而发达国家只有5%的链断裂率。冷链流通的农产品和水产品分别仅为5%和23%,在中国不受欢迎,而发达国家冷链流通率达到95%,这表明仍有许多困难需要克服在中国的冷链运输(13]。
目前,冷藏仓库和冷藏卡车的数量和质量不能满足中国冷链物流的快速发展的需要。此外,冷藏在中国分布的地区不平衡的因素之一,导致大量的“断链”的产品。易腐产品会产生很多浪费没有足够在冷链流通环境。水果和蔬菜的年度亏损高达15%(发达国家只有5%的损失),和损失价值超过500亿元。此外,冷冻食品的消费在中国人均每年只有10公斤,一半的日本和美国的六分之一。有两个原因。一是缺乏工业化和小规模的冷链食品供应方面;第二,中国人民没有一个强有力的冷链食品的依赖。
2.2。农产品冷链物流中存在的问题
在运输和储存期间,许多农产品可能受损,影响利润和新鲜的冷链14]。目前,农产品冷链物流存在的问题在中国主要包括以下方面:
2.2.1。低水平的农产品冷链物流设备和技术(15]
近年来,中国的经济发展模式已经逐渐改变,和冷链物流行业的规模的各种类型的产品,包括农产品和医学,也迅速扩大。然而,由于基础设施薄弱和不完美的技术,在中国冷链物流的效率很低。农产品冷链物流的日常操作需要大量的人力。此外,冷库的维修,车辆,和其他设施和技术的提高需要大量的资本输出。然而,由于季节性特点,企业倾向于资本的风险。与此同时,由于农产品易腐性质,如果冷链链接失败,它可能会造成大量的损失,为企业经营者有一个很大的风险。企业冷链物流系统的建设应分批支付,和太大的资金,以满足一些中小型物流企业的需要。投资和施工力量相对匮乏,导致相对不足的中国农产品冷链物流体系建设。
2.2.2。产品质量监督体系并不完美
虽然大多数冷链物流企业重视经济效益,他们不足够关注农产品的质量和运输。先进的存储技术,在实际应用中,温度控制,监督和管理技术不能合理、有效地使用。为了节省能源消耗,一些公司不能确保农产品在科学和标准化的低温环境中冷链物流在整个运输过程中,因为使用或不正确的操作,这可能会降低农产品的质量和安全。
2.2.3。冷链物流技术的应用很低,和数字信息的发展滞后
从当前冷链物流技术的应用,数字技术和信息技术的应用程度相对较低。首先,产品流通和信息管理数据丢失。第二,智能温度和湿度的控制和其他环境因素在农产品存储并不完美。数字信息技术是非常重要的冷链物流系统的建设。目前,冷链物流技术的应用很低,这大大阻碍了农产品冷链物流系统的建设。所有链接相关运营商的农产品冷链物流标准化培训的,他们不了解农产品冷链物流行业的标准化操作过程和农产品的特点,影响工作效率(16]。冷链物流企业的技术产业主要取决于新旧模型。这个模型依赖于高级雇员的经验不能跟上冷链物流的快速发展。如果经验是不科学的,不完美的,那么只能发展落后。农产品冷链运输的过程中,需要良好的操作技术,确保农产品的质量,但缺乏相关的冷链物流人才培养的方法和系统。这样的系统和标准需要共同制定和通过教育培养单位和工作单位。
3所示。农产品冷链物流的发展趋势,基于大数据
市场竞争的压力下,农产品冷链物流企业管理的效率需要很大的提高。通过大数据技术的有效利用,我们可以优化和创新冷链物流企业管理系统,实现企业物流管理的现代化,有效改善农产品冷链物流管理的效率。大数据技术的引入农业领域的冷链物流不仅可以提高信息对接的效率和企业客户的粘性,但也加快冷链物流数据的增值。基于大数据的背景下,企业可以充分利用大数据技术智能计数和分析企业物流的相关数据信息,可以充分保证企业冷链物流的增值数据往往是标准化的、合理的;大数据技术的特点,结合科学、合理收集和分析有价值的数据信息,以促进有效的增值和合理促进冷链物流数据。为了促进企业的发展,我们应该提供大量的数据信息支持(17]。
外国学者进行了深入研究如何应用现代信息技术在冷链物流,取得了良好的效果。许多发达国家使用信息技术来帮助发展冷链物流,以控制相关产品的整个过程从原材料、生产、储存和运输。美国有各种先进的现代信息技术应用于冷链物流的生产经营,特别是在它引用的相关技术数据,已大大提高冷链物流的效率和获得巨大的利润。加拿大建立了世界上最大的农业生产和运输网络覆盖了9个国家和地区,并与相关人员和组织建立了联系网络分享信息关于冷链运输的整个过程18]。
Saxena建议使用实时传感器数据来支持供应链决策和描述一个模型测量和改善实时传感器数据的可用性。通过分析无线传感器网络的数据报告,它有助于预测易腐食品的保质期,采取措施,防止其恶化。分析传感器数据做出决策,而不是依赖直觉,会使决策的科学性。这些研究将鼓励冷链企业操作在美国开拓增值创新机会通过互联网等现代技术的事情,提高供应链的相关链接通过仓库工人和运输部门的经验,以提高企业的竞争力19]。Reeves研究几个案子从资源依赖理论的角度探讨逆向物流策略所使用的一些美国供应链企业,控制成本,减少风险。收集到的数据通过面对面,半结构式访谈和评论相关的公司文件。专题分析的数据是在五个步骤进行:编译、分解、重组的,解释和结论。从数据分析三个关键主题新兴通信策略,检查策略和成本分配策略。本研究的意义包括供应链领导人可能会降低消费者的食品和饮料产品的成本通过有效实施逆向物流,避免或减少破坏和恶化食品和饮料产品流入消费市场(20.]。
与发达国家相比,我国冷链物流的发展时间相对较短,和相关的设备仍然是不够的。技术研究成果缺乏,往往只使用信息技术来完成实时监控的功能。作为未来科学和技术发展的一个重要组成部分,大数据一直是国家的战略核心之一。五中全会第五届中共中央委员会,结束于2015年11月,明确提出了“大数据”作为国家战略。与此同时,“大数据”技术的应用在物流行业也逐渐升温。
燕等人分析了农产品冷链物流的发展形式的农产品生产企业和销售企业,给一些建议改善农产品冷链物流的形式结合大数据技术(21]。小王和沈简要分析了中国水果冷链物流的发展,并结合大数据技术的特点,给出优化措施系统设计、设备配置、数据收集等方面。它提供了一个参考中国水果冷链物流、新鲜水果的供应,中国的水果加工(22]。李等人分析了信息共享的能力,减少预期的供应商和零售商的库存通过研究信息共享策略对库存的影响和检查的影响信息共享库存需求预测的准确性和稳定性,从而提高市场需求预测的准确性和减少库存(23]。结果表明,信息共享和缓冲库存的组合可以更好地提高新产品供应链的性能。以一个项目为例。分析和总结了华的困境冷链物流公司,其信息系统的不足。一个框架适合处理冷链物流大数据项目。大量的中国学者已经开始在这一领域进行深入的研究,并与中国大型数据模型的逐步发展,冷链物流产业的发展将迎来重要的和相当大的进展24]。
4所示。可行性分析的谱聚类算法在农业大数据冷链运输模式
农产品冷链物流在整个生产过程中,会有大量的农产品相关信息、冷藏和运输环境信息,订单细节信息,路径信息,等,构成一个复杂的高维农产品冷链物流信息数据。高维信息数据可以真正反映农产品冷链物流的现状,可以为冷链物流的进一步优化提供指导。普通的数据处理技术不能有效地处理高维冷链物流数据,所以尤为重要,找到一个合适的数据分析方法,农产品冷链物流管理系统的建设。收集有价值的数据信息和使用适当的聚类分析方法来降低高维冷链物流的维度数据,智能统计和分析相关数据,和矿业法律和知识隐藏在冷链物流信息能促进可持续、高效、和协调中国冷链物流行业的发展。
4.1。聚类算法对物流
大数据技术有一个非常强大的数据处理能力,可以有效地处理大量的数据信息,深入挖掘大量数据和各种类型的数据,获取特定值信息,积极收集各种信息(25]。有很多领域的数据挖掘方法应用农产品冷链物流,和聚类挖掘算法是目前最常用的方法之一。算法将数据根据数据之间的相似性和差异对高度通用的数据,并将同一类别,以探索事物之间的关系。聚类挖掘过程如图2。聚类挖掘的过程主要包括聚类对象的特征选择和转换数据来源,选择和设计相关的聚类算法,评估和物理分析的结果,最后归档(知识16]。
许多真实的场景聚类挖掘算法可以更高效的数据挖掘。对于冷链物流数据没有先验知识,当选择挖掘算法,聚类算法成为了第一选择。几种常见聚类算法如图3。
k - means, EM和其他算法将选择在许多相关需要聚类算法的研究,因为他们的数据集维数不高,和空间分布主要是凸的。然而,冷链物流的数据空间大数据通常不是凸,高维的特点,繁琐的数据,周期性等等。使用以上常用算法效率低下,可能会陷入局部最优解。本研究提出了一种改进的谱聚类算法对数据的分析,可以在一定程度上解决上述缺陷。
4.2。谱聚类算法的研究
谱聚类是一个典型的基于图论的算法。与大多数经典的聚类算法,它只能处理凸集,谱聚类算法不指定数据集的空间风格。同时,它可以克服缺点,一些经典的聚类算法容易收敛于局部优化。高维数据集可以被映射到低维使用谱聚类算法,然后是经典聚类算法(k - means和k - means等)可用于集群数据在低维空间。近年来,谱聚类算法已被广泛使用,它具有以下优点:(1)在聚类时,没有必要考虑空间数据点的分布类型的礼物,即谱聚类算法并不局限于特定的空间特征。(2)聚类是通过求解一般矩阵的特征向量来实现的。(3)它可以压缩高维数据,减少维度低维数据,然后计算它来减少工作量。(4)谱聚类算法的聚类过程不容易陷入局部最优解。
谱聚类算法的基本思想如下:首先,根据获得的相似矩阵是原始的数据集,那么相应的度矩阵和拉普拉斯算子矩阵得到,然后拉普拉斯算子矩阵的特征向量用于获得第一k拉普拉斯算子矩阵的特征值,然后这些特征向量组成n k矩阵U,每一行作为一个新的数据集。这些新生成的数据集是集群k类的k - means或其他经典的聚类算法,最后,聚类结果输出。
谱聚类算法中,集群数据点被视为节点V图中,无向边E用于连接节点。它的重量表示数据点之间的相似性,即无向加权图,G= (V,E)。
高斯核函数是用来计算谱聚类算法的相似性。采样点的相似度计算如下: 在哪里年代是点对之间的相似性,d(x我,xj)是数据点的欧氏距离,σ尺度参数。
顶点的程度d我所示如下方程: W是邻接矩阵,也就是数据点之间的相似性矩阵。
拉普拉斯矩阵l由度矩阵的区别D和体重关系矩阵W。中所示的非规范化拉普拉斯矩阵必须执行哪些操作以下方程: 在哪里l拉普拉斯算子矩阵和吗D度矩阵。
规范化的拉普拉斯矩阵所示以下方程:
最后,算法计算归一化l根据上述公式得到矩阵构造K特征值和特征向量,形成一个n×k特征矩阵和K特征向量,并记录它问。k - means用于集群问,n维向量C获得的结果。描述的步骤如下:
的一组输入n数据点所示以下方程:
输出K聚类结果显示在以下方程: 在哪里C输出的结果吗K聚类,即采样点的分区结果。
原始谱聚类算法过程可以概括为以下四个步骤:(1)源数据集处理获得相似的地图,这是样本空间的相似度计算。然后,计算矩阵的连接W和度矩阵D。(2)拉普拉斯矩阵l矩阵是获得和规范化。(3)拉普拉斯矩阵的特征值分解,由第一特征向量映射k特征值,并将其组合为n×k,一个特征向量矩阵。(4)使用k - means聚类算法聚类特征向量矩阵获得在步骤(3)中,并最终得到每个样本的分类。
4.3。国内外现有的谱聚类算法的改进
谱聚类算法的关键是测量数据点之间的相似性和分相似图中的节点和集群数据,以获得结果。因此,特别重要的是选择一个适当的方法来计算数据点之间的相似性。适当的相似性距离度量可以显示数据点之间的相关性。构建一个合适的相似度矩阵的关键评估谱聚类算法的优点和缺点,可以提高聚类结果的准确性。
国内外许多学者已经研究了谱聚类算法。贾给WLSD-NJW算法,这是一个改进的谱聚类算法基于加权局部标准差和可以使聚类结果更稳定26]。梁等人使用方差优化初始中心提高K-medoids聚类算法,然后应用谱聚类算法的最后一步提高聚类质量(27]。张提议self-coding谱聚类算法相结合的指标融合和具有里程碑意义的表示28]。萨普克塔等人提出了一个新的组合光谱集群和k - means算法。该算法取代了在传统的k - means聚类质心算法的初始化方法和k - means算法的解决了一些限制29日]。香等人派生对象的系数矩阵通过结合对象的“可达性的概念相似度”用给定的基于距离的相似性,因此对多尺度数据解决光谱聚类问题。演员使用套索提出了正则化系数矩阵算法。这是证明了系数矩阵有一个“分组效应”,显示“稀疏。“这两个特征的意思是非常有效的谱聚类30.]。Pourkamali-Anaraki证明以前流行的基于Nystrom谱聚类方法有严重的局限性,忽略了关键信息,因为它过早地减少了相似矩阵的秩相关采样点(31日]。此外,当前的理解如何使用Nystrom近似影响光谱集群嵌入是有限的。为了解决这些限制,原则上谱聚类算法,它使用的光谱特征相似矩阵与采样点来调整精度和效率之间的权衡。庄等人提出了一个健壮的模型拟合方法,即谱聚类消除异常值(ORSC)和估计多个内链结构存在大量的离群值(32]。其基本思想是将项目每个数据点的概念空间,内部之间的距离分布的点和点的距离是明显不同于原点。因此,根据每个子空间点的分布,所有分分为室内分和异常值的谱聚类算法。此外,在处理复杂的multistructure模型与一个大比例的异常值,聚类结果可以用于指导后续抽样获取清晰的数据点,以便做出假设。
4.4。效果差异的不同类型的谱聚类算法在冷链物流大数据的应用
“大数据+物流”的运输方式是物流行业的标准模式。大数据将发挥重要的作用在常温运输和冷链运输。因此,作为大数据的基础操作,算法也具有重要的研究价值,算法的不断改进和进步也会反馈给运输模式的“大数据+物流。”
有效的处理和分析大量数据和多维冷链物流已经成为解决问题的关键与冷链物流相关。冷链物流数据具有高维特征,大多数数据集显示凸空间。在此基础上,左[33]提出了一种改进的自适应谱聚类算法基于局部标准差和优化初始中心(DCSC-NJW),并分析了数据在农业领域的冷链物流。种子数据集选择来自UCI数据作为实验数据。UCI数据库是一个标准的测试数据库,广泛应用于数据挖掘和机器学习领域。使用的数据集有一个明确的分类在UCI数据库中,这使我们能够分析和比较最终聚类结果的准确性更直观。
是非常重要的谱聚类算法选择合适的相似度测量方法。计算相似度,我们首先应该分析其数据的属性,如顺序、名义,数值和其他属性。本研究中的数据是数值属性,所以我们用距离来衡量相似。距离计算方法有很多,比如欧几里得和加权欧氏距离、马氏距离、汉明距离和相似系数。根据冷链物流数据的空间分布特征,本研究使用欧氏距离作为相似性度量像传统的谱聚类算法。
图4描述了一群冷链物流数据。从这组数据中可以看出,数据点一个,b,c,b和c应该划分为一个类,所以数据点吗c和b应该有很高的相似性。它应该更大的相似性一个和b,以确保计算结果分类c和点b为同一类别。当选择欧几里得距离测量上述组数据的相似性,之间的欧氏距离b和一个将远远大于之间c和b。点的概率b和一个分为一个类是远远低于c和b。从欧氏距离,大部分数据在上面的组可以划分合理。通过简单的例子的分析,不难看出,使用欧氏距离计算相似度矩阵的方法是更多的响应。根据全球一致性,欧几里得距离可以达到更好的聚类效果。
2.7.2使用Hadoop版本在这个实验中,运行在一个完全分布式模式。操作系统是centos - 6.8,复制数据块的数量是3。使用的计算机处理器是英特尔(R)的核心(TM)(电子邮件保护)GHz, 8 GB内存。使用9000个文件作为实验数据集,它可以分为三个文件类型。首先是图像文件类型,平均文件大小为2.8 MB,占30.2%。第二种类型是文本文件,平均文件大小为135 kB,占63.22%。第三类是视频文件,平均文件大小为68 MB,占6.58%。9000年实验文档被随机中断和分成6组进行测试。文档的数量是15003000,4500,6000,7500,和9000年,分别。
接下来,写作速度,内存占领namenode,文件的阅读速度测试。
4.1.1。写速度测试
为了验证此方法提高了文件上传速度,六组根据原始文件上传到HDFS HDFS方法,哈尔方法,和左提出的方法,他们上传的时间记录。实验重复三次,计算平均值。实验结果如图所示5。
实验结果表明,该方法需要更少的时间比原来的HDFS和c原因是最初的HDFS客户端将发送写请求namenode每次上传一个文件,发送请求的时间是比这长得多的时间在写文件,上传速度是最慢的。哈尔法需要运行mapreduce合并之前上传。左提出的方法不需要运行mapreduce直接合并后的文件写入HDFS在上传之前,和更精致的分组和合并的方法使其上传速度更快。
10/24/11。Namenode内存使用测试
六组的文件上传到HDFS通过原始HDFS方法,左哈尔方法,提出的方法来测试这种方法与其他方法的区别记忆占领namenode。每组上传的文件后,占据的空间增长的namenode编辑日志编辑inprogress记录。实验结果如图所示6。
从实验结果可以看出,左提出的方法具有良好的性能在内存占领namenode。主要原因是这个方法可以分类和小文件合并到大文件更有效地减少元数据上传到HDFS,大大减少了内存消耗namenode,记忆占领namenode是显著降低,这也表明,数据块被datenode占领的数量也大大减少。
4.4.3。读取速度测试
为了验证提出的方法之间的区别左和原始HDFS和哈尔方法的速度阅读文件,读书的时间每组的文件记录,每组实验进行了五次,数据的平均值。同时,设置缓存容量的阈值n到1000年可以验证阅读文件缓存机制的影响。实验结果如图所示7。
实验结果表明,左的方法明显优于原HDFS和哈尔方法。的过程中反复阅读,因为它的缓存机制,可以减少阅读时间。原因是HDFS元数据检索的性能随的增加小文件存储在HDFS中。然而,左提出的方法使用哈希映射保存索引信息和直接获取索引信息时根据文件名搜索索引信息,时间复杂度为0(1)阅读时重复的文件,由于索引信息已经添加到哈希映射对象在内存中第一次阅读,更高效的查询索引信息在内存中直接从散列映射在二读。
在本节中,三个实验谱聚类算法进行了分析,包括传统的谱聚类,谢et al。(34改进的谱聚类算法,左的改进的谱聚类算法。种子从UCI数据集选择数据作为实验数据。UCI数据库是一个标准的测试数据库,广泛应用于数据挖掘和机器学习领域。有明确的分类在UCI数据库使用的数据集,这使我们能够分析和比较最终聚类结果的准确性更直观。
实验完成后在MATLAB软件环境下,使用的计算机处理器是英特尔(R)的核心(TM)(电子邮件保护)GHz, 8 GB的内存,机械硬盘有一个60 GB的内存。实验是进行种子数据集,该算法运行10次平均聚类精度,p值的算法σ。根据文献的结果(35),的值分别是1.3和9。算法的计算过程记录错误簇的数量和分类算法的计算时间,表中列出1和2。
通过经典的数据集的仿真实验,表中的数据1和2显示左的聚类精度和时间改进的谱聚类算法的改进与原始谱聚类算法和改进的谱聚类算法提出了谢,和聚类结果的错误率明显降低。
本研究比较了三种谱聚类算法对种子数据集和完成聚类根据谱聚类算法的步骤。结果的折线图分析和算法的准确性。测试结果如图8;同时,算法的运行速度进行比较,结果如图所示9。
通过比较和分析谱聚类的聚类精度,谢的改进的谱聚类算法和左的改进的谱聚类算法,发现左改进的谱聚类算法的聚类精度更高,这充分证明了一种改进的自适应谱聚类算法的可行性和优越性基于局部标准差和优化初始中心。仿真结果是正确的和有效的,并提供一个算法依据后续采矿系统的工作。根据图的比较分析9总时间和三个算法的逐步时间减少。左的时间改进的谱聚类算法减少了与传统的谱聚类算法和改进的谱聚类算法提出了谢。实验表明,提出的改进的谱聚类算法左处理速度快的优势,能够满足的需求快速冷链物流大数据的处理速度。
从上面的实验结果,可以看出,不同种类的算法有一定的差异,冷链物流运输管理的过程,和一个算法没有普遍适用性。中国冷链运输模式发展,算法还应该不断升级和改进。它应该与冷链运输协调发展模式,结合并确认对方,并形成一套合理的大数据管理模式。
5。结论
近年来,中国农产品冷链物流发展迅速,与巨大的市场需求和发展前景。大数据技术是这个时代发展的新的推动力。有效利用大数据技术可以优化和创新冷链物流企业管理系统,实现企业物流管理的现代化,有效改善农产品冷链物流管理的效率。大数据技术引入农业领域的冷链物流可以提高信息对接的效率,提高企业客户的粘性,加快冷链物流数据的增值。与此同时,大数据支持冷链运输的基础是各种数学算法。注意外观的时候,我们需要考虑内部发展。不断升级和改进算法模式还将加快推广和普及的大数据冷链运输,因为,在未来物流行业,信息的快速传输和交换将是基础,确保整个系统的正常运行。
数据可用性
标签数据集用于支持本研究的发现可以从作者要求。
的利益冲突
作者宣称没有利益冲突。