文摘
COVID-19大流行期间国际农业贸易的发展遇到了重要的挑战。国际农业贸易数据的处理需要使用机器学习技术提高了农产品贸易的进行有效的分析。国际农业贸易的一个重要问题是许多农作物的准确的产量估计参与国际贸易。数据挖掘技术是必要的方法实现的实用和有效的解决这个问题。本文结合双向编码器陈述变压器(BERT)模型进行数据挖掘和开发了一个贸易数据分析系统具有高效的数据分析能力。我们的结果表明,我们的模型是合理和获得足够的信息在决定国际农产品贸易。它也可以帮助关于国际农业贸易政策和决策。
1。介绍
COVID-19大流行已经完全扰乱了世界经济。世界经济正面临重组情况;尤其是农业经济也经历更重要的波动和挑战。农产品贸易是与一个国家的经济和全球与人的需要密切相关。中国也正在经历一场农业经济的结构性转变。国际农产品贸易的发展具有十分重要的意义,中国的崛起的整体经济1]。国际农业贸易的发展需要中国农产品具有很强的国际市场竞争力。提高竞争力的有效手段是通过数据分析制定有效计划,提高中国农产品的市场份额,有效改善市场开发能力的中国农产品在国际贸易中。提高中国的国际农产品贸易竞争力,有必要使用农业用地(2理性。与此同时,我们需要结合实际需要的国际农产品的经济效益,中国的气候,土地特征选择作物经济效益最好的和一个特定的产量。同样,它也需要充分了解竞争对手的农业实力和产品,抓住市场机遇,扩大农产品销售渠道。此外,还需要关注有关不同国家的国际贸易政策。特别是,强行通过政治手段干涉正常的经济贸易在一些国家将直接导致国际农业贸易[大波动3]。
制定国际农业贸易发展计划,必须有效地分析各种因素提供了很好的理论依据国际贸易的发展。然而,主要的问题在分析国际贸易的因素是不可控的。此外,它是具有挑战性的发现大规模的国际农业贸易数据的影响因素建立国际农业贸易的后续发展的基础。因此,有必要开发一个科学有效的数据挖掘系统[4]。
数据挖掘过程提供了一个框架来从数据中提取重要的信息。随着海量存储、先进的数据收集、计算范例,数据处理,只会增加。从这些庞大的数据中提取信息资产时,我们需要使用数据挖掘算法等先进方法,除了标准统计处理(5]。虽然许多这些算法可以提取有价值的信息,它是数据挖掘专业巧妙地采用合适的算法和业务问题转换成一个数据的问题。像任何其他技术,数据挖掘提供了选择的算法和算法中的参数。因此,本研究着重于发展国际农业贸易结合数据挖掘模型尽可能地提高数据挖掘的效率,克服存在的问题(6]。这项工作的主要贡献如下:(1)这项工作结合了伯特模型进行国际农业贸易数据挖掘和分析中国农产品国际贸易的现状(2)分析了未来中国农产品国际贸易的现状,探讨了未来国际农业贸易的发展方向
本文的其余部分的结构如下。部分2描述了相关工作。第三节说明了提出的数据挖掘模型。在第四节,不同的模型评价结果。最后,给出了结论第五节。
2。相关工作
农产品贸易中扮演着重要的角色在全球和地区的可持续性粮食系统。贸易在国家允许的食品从盈余转向赤字。它有助于增加产品的品种。没有贸易,当地和国家食品系统的压力要大得多,自然资源和政府预算造成重大负担。数据挖掘的作用在发展中国际农业贸易是一家领先的下一代农业情报(7]。这使得土地使用者做出更好的决策,提醒他们发现数据中隐藏的模式。统计和机器学习技术是流行在国际农业贸易的分析数据。全世界有不同的方法开发和评估研究人员在农业领域的贸易数据分析。拉梅什和Vardhan8]分析了农业1965年- 2009年的数据。降雨数据分为四个集群采用k - means聚类方法。这项工作的目的是找到合适的数据模型,实现高精度和高通用性的国际农业产量的预测能力。拉赫曼Motiur et al。9]研究气候条件的影响(降雨和温度)对农业产品。整个数据集被分为三个阶段(3月至6月,7月到10月,2月和11月)。在预处理农业数据,平均每个属性。集群进行查找共享群地区基于类似的天气属性。作者在10]研究土壤特性的影响农产品的生产使用数据挖掘。k - means聚类算法用于聚类土壤结合基于地理定位系统(GPS)技术。作者在10)已经做了广泛的研究机器学习算法的预测能力如人工神经网络、多元线性回归、回归树,支持向量回归,再邻居国际农业作物产量生产(11]。阿尔贝托et al。12]预测基于在线多层土壤的小麦产量的变化数据和卫星图像作物生长特征。国际农业贸易数据是巨大的,包括卫星图像,还需要大量的清理破坏目标(13]。本研究使用伯特执行数据分析农业数据模型来改善中国国际农产品贸易的发展。它构造一个具有数据分析功能的贸易数据分析系统。
3所示。数据挖掘模型
摘要数据挖掘是通过伯特模型实现的。伯特是一个开源机器学习框架。从变压器伯特代表双向编码器表示。深机器学习模型与多层的每个输出元素与每个输入元素,以及它们之间的权重动态计算基于他们的连接14,15]。一般伯特变换如图1。
每个子层的输出表示为
这个位置向量可以由以下公式计算: 其中pos表示关键字的具体位置在农业国际贸易数据和大量的数据我是方向向量。在数据处理中,为了避免数据饱和,需要规范化的数据,它可以表示为
译码器层不将整个农产品贸易数据输入语义向量C根据一个固定的长度。然而,它计算c(我)基于不断引进新的农业贸易信息。因此,C显示了实时变化。通过这种方式,新的农业贸易信息损失问题已经解决了。这个过程可以表示为一个三维的形式,如图2。
(一)
(b)
初始值Z0介绍,匹配h1生成 。有许多匹配方法,包括计算COS的价值h1和Z0。Z0按顺序执行匹配操作h我计算和获得 。 受到softmax处理,并添加到每个重量 。然后,softmax-processed总结得到c0。因为不同的权重,的概率c0这个时候往往更接近h1和h2。在这个时候,c0作为译码器的输入层执行解码层操作z0并生成z1。生成的z1再次使用的初始值和每个编码器来执行匹配操作吗h1。然后,c1将获得的。同样的,c1和输出结果y1都由译码器操作z2,然后依次迭代算法。最后,算法结束当遇到EOS终止信号。这个过程可以表示成图3。
编码器的具体计算
语义向量Ct是计算
在上面的方程中,ct是语义向量生成的时间t,e“透明国际”是隐层状态的影响程度h我在时间我在编码器层隐层的状态在时间t译码器层。e“透明国际”是归一化的概率一个“透明国际”。使用的公式如下:
首先,隐层的状态计算,然后注意层计算;最后,得到预测结果。self-attention机制可以使用下列方程表示:
我们有
后问我,k我,得到了,问1乘以k我得到一个1,- 1,一个1、2,一个1、3,一个1、4。同样的,问2乘以k我得到一个2、1,一个2、2,一个2、3,一个2、4。通过类比,一个我,我矩阵可以得到。然后,这个矩阵受到softmax处理获得矩阵 。使用 ,b1可以获得。用类推的方法,我们得到的b2,b3,b4。双曲正切函数主要用于二进制分类任务:
将softmax映射函数k维实值向量(一个1,一个2,一个3,一个4,l)(b1,b2,b3,b4,l)。其中,b我是一个常量值在0和1之间。根据的大小b我,multiclassification的目的。这个公式是
GELU函数如下:
使用相同的序列的计算,一个我分为矩阵问我,k我, 。与此同时,问我分为问我,1和问我,2,k我分为k我,1和k我,2,分为 。
在获得问我,k我, ,问我,1是乘以k我,1得到一个我,1。同样的,问我,2乘以k我,2得到一个我,2。同时,softmax执行处理获得矩阵。根据 , 和可以以同样的方式获得的。同样的,和乘以体重W0,获得b我。
4所示。模型评价
这项工作分析了大规模的国际农业贸易数据,获得有效信息,并预测有效法律[16]。数据挖掘,我们使用了竞争力理论模型,基于波特模型。波特的模型识别和分析五种竞争力量塑造每一个行业,帮助决定一个产业的弱点和优点17]。在目前的研究中,五种竞争力量分析如下:供应商、买家,潜在进入者、替代品,和产品的竞争对手。波特的分析模型如图4。
基于波特的分析模型,层次分析法(AHP)构建模型。的功能结构图如图的AHP模型5。
进行多因素分析,国际农产品贸易数据,我们采用AHP模型。所有的因素都是分层次处理,类似于决策树结构。层次分析法是一种组织和分析复杂的决策方法。层次分析法提供了一个合理的框架需要决策的量化标准和相关的替代选项和这些元素的整体目标。AHP是独特的因为它可以量化标准和选择18]。构建模型通常是紧随其后的是模型验证。模型验证的目的是确保模型的实现是正确的。我们获得了大量的农业国际贸易信息从互联网上通过网络爬虫技术来验证模型。
4.1。数据挖掘能力
数据挖掘是一个发现的过程模式在大规模数据集的方法在学习(的交集19- - - - - -22]。评估该模型的数据挖掘能力,我们随机抽取80组数据和应用提出的数据挖掘技术。结果如表所示1和图6,分别。获得的合成值都大于80%,证明提出的数据挖掘模型可以进行更好的决策和执行数据挖掘在国际农业数据更有效和高效。
4.2。数据分析能力
分析能力的顶峰是应用先进的分析发现深刻的见解,进行预测,产生推荐。检查数据分析功能的数据挖掘模型,我们使用波特模型。此外,80套有效数据也为本研究随机选择。表2和图7显示数据分析能力的评价结果提出的模型。该模型具有更大的潜力和良好效果分析(数据分析> 70)国际农业贸易更有效率。
4.3。决策能力
决策能力显示系统的熟练程度选择两个或两个以上的选择。我们评估该模型的决策能力,决策建议的输出与实际情况相比,用评分法。结果80年所有的数据集都大于70和报道在表3和图8,分别。
可以得出结论,提出数据挖掘系统潜力更重要的决定在分析国际农产品贸易的发展。
5。结论
当前国际农产品贸易的研究主要侧重于主观评价和环境影响。本文使用了双向编码器表示变压器(BERT)模型和构造形式的贸易数据分析系统具有高效的数据分析功能,增加国际农业贸易发展的评价。我们进行了大量数据的挖掘和分析国际农产品贸易。因此,我们获得足够的信息来做出有效的决策。我们的结果表明,我们的模型相当不错,获得足够的信息从国际农产品贸易数据。此外,本文通过实验研究证明了该模型的可行性。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。