利用大数据模糊k - means聚类和信息融合算法在英语教学能力评价

文摘

针对大数据信息的不准确的分类问题在传统的英语教学能力评价算法,基于大数据的一种英语教学能力评价算法提出了k -均值聚类和模糊信息融合。首先,作者使用的k - means聚类分析收集到的原始误差数据,如教师水平、教学设备投资和政策相关性水平,消除了数据,该算法认为不可靠,使用剩余的有效数据来计算修改后的模糊逻辑算法的权重因子,并评估与节点测量数据和加权平均得到最终的融合值。其次,作者将大数据信息融合和k - means聚类算法,实现了集群和整合英语教学能力的指标参数,编制相应的英语教学资源分配计划,实现英语教学的评价能力。最后,结果表明,使用这种方法来评价英语教学能力有更好的信息融合分析能力,提高了教学能力评价的准确性和效率的教学资源的应用程序。

1。介绍

利用信息处理技术和大数据分析技术为教学评价和资源信息调度具有积极、重要的意义在改善教学过程的量化管理和计划能力。在这方面,本文研究英语教学的评价基于大数据分析的能力。是有很多限制的评价英语教学能力,有必要进行定量测试和英语教学水平的分析,构建一个参数模型和大数据分析模型约束的英语教学水平,并采用大数据信息融合和集群处理方法对英语教学能力评估,构建目标函数和统计分析模型的教学能力评估和改进英语教学能力的定量预测能力评估(1]。因为它的潜在的巨大应用价值,近年来无线传感器网络引起了足够的重视(2]。无线传感器网络是由大量微型传感器节点随机分布在监测区域,收集并传输实时数据通过合作传感节点之间。由于大量的节点和他们是随机安排的,收集的数据节点相邻地区一定会有一定程度的冗余。如何有效处理这些冗余数据,减少数据传输到基站的数量,以减少传感器节点的能耗的主要问题的研究数据融合算法。数据融合技术是通过单个节点的信息处理功能,使用相对较高的综合处理数据,消除数据冗余,并结合数据处理技术,更准确、更符合用户需求(3]。然而,由于传感器制造工艺的影响和其他不可预测的因素,每个传感器节点测量的数据将不可避免地有不同程度的偏差,和太多的偏离了正常的数据值被认为是失败的数据。无效数据的存在将降低融合数据的准确性,提高节点传输的电力消耗,所以有必要删除这些数据融合前无效数据。传感器网络数据融合算法而言,国内外许多学者已经做了大量研究,主要包括贝叶斯评价方法(3],费舍尔信息[4),BP神经网络(5),d - s证据理论(6),和其他算法。文献[7使用一种自适应加权融合算法。尽管这个算法不需要任何先验知识的测量数据,获取节点方差和权重的算法的过程更为复杂,从而导致更多的节点能量消耗。文献[8)用最小二乘法评价数据融合算法,简单,容易实现,但不考虑节点故障数据的干扰,导致不满意的融合结果。加权融合算法是基于模糊逻辑,因为该算法并不复杂和重量的计算相对简单,它有一些特定的应用程序,但是,在一些实际应用中,节点测量数据的偏差将导致融合。结果偏差较大。

基于模糊逻辑理论的深入的研究(9)和加权模糊逻辑算法(10),本文提出了一种改进的算法。在数据融合之前,基于k - means聚类方法用于比较现有的大错误数据是否分开,然后剩下的有效数据是用来重建模糊逻辑的权重因子,最后进行加权融合得到最终的融合结果。此方法实现起来相对比较简单,不需要任何先验知识的数据,并融合精度更高。该方法基于大数据的英语教学能力评价模糊k - means聚类和信息融合实现指数参数的聚类和集成的英语教学能力,编制相应的教学资源分配计划,实现定量规划英语教学能力的评价,并实现英语教学能力的准确评估。

2。为英语教学能力评估分析模型

2.1。参数对英语教学能力的评估

为了实现英语教学能力的准确评估,首先需要构建一个信息采样模型约束参数的英语教学能力。结合非线性信息融合方法和时间序列分析方法进行统计分析的英语教学能力。英语教学能力约束指数参数是一组非线性时间序列(11]。构造一个高维特征空间分布代表英语能力评估的参数指数分布模型,并抑制英语教学能力的主要指标参数包括教师水平、教学设备投资和政策相关性水平。

模糊聚类分析是一种无监督的机器学习算法,建立了样本类别的不确定性描述通过模糊理论,可以客观地反映现实世界。Yaqoob et al。12)首次提出模糊均值聚类算法基于模糊聚类的概念。之后,王等人添加了一个模糊因素聚类算法,提出了一个模糊均值聚类算法(13]。聚类算法获得每个采样点的隶属度所有集群中心通过优化目标函数,通过多次迭代最优聚类中心,从而确定采样点的类别来实现分类示例数据的目的。该算法分n数据采样点到c通过反复迭代类和最小化目标函数,从而实现聚类。其目标函数被定义为

在这里,的隶属度吗i集群中心j数据样本点;c模糊加权指数,隶属度的计算公式吗是 在哪里 欧几里得距离吗j数据样本点i集群中心。

聚类算法有简单的设计和良好的聚类效果的特点,已广泛应用于图像处理、大规模数据分析和入侵检测。王等人。13)提出了一种模糊电气故障诊断基于理论的数据融合方法和模糊k - means分析方法用于分类感应电动机的不同模式,减少误警率。

英语教学能力评估教师能力水平和教学资源配置水平满足维度连续功能状态;即英语教学能力评估有一个收敛的解决方案,根据数据信息流模型构建的英语教学能力评估,构建一组标量采样序列组件为大数据分布模型提供一个准确的数据输入基础英语教学能力评估(14]。

2.2。定量递归分析的教学能力评估

定量递归分析方法用于分析大数据信息模型的英语教学能力评价(15]。灰色模型用于定量评估水平的英语教学能力。假设的历史数据分布表示为英语教学能力 ,预测和估计的概率密度函数获得英语教学能力当扰动特性的初始值是恒定的。

使用定量递归分析方法获得的K邻居样本值的大数据信息流产出指数分布的英语教学能力评价和使用大数据信息融合方法构造域大数据信息流的英语教学能力评价分布,interclassification目标函数,即大数据聚类目标函数,定量地分析了指数相关性分布序列英语教学能力的评价研究,结合了K值优化方法获得教学能力的定量评价16]。递归特征提取结果 在哪里是抽样振幅最初的英语教学能力评价;是标量时间序列;的振荡衰减值是英语教学能力评价(17]。基于模糊理论的数据融合模型如图1。

3所示。优化英语教学能力评估模型

构造约束参数指标分析模型的评估和分析英语教学能力,采用定量递归分析方法评价英语教学能力大数据信息模型分析的基础上,以提高英语教学水平的定量评估的能力,模糊k - means聚类,提出了基于大数据,基于信息融合的英语教学能力评价方法评价英语教学能力的问题转换成求解k - means评价聚类目标函数为最小二乘问题16]。最小二乘问题是找到一致的评估价值的资源约束向量的英语教学能力评估,达到最小值,即F-norm欧洲代数规范,和熵特征信息的英语教学能力得到约束;特征提取的值

每轮迭代后,重新计算每个集群的集群中心的价值根据以下公式:

构建一个层次结构树,使用大数据分析方法建立主成分特征数量的英语教学能力评估,使用模糊亲密填充方法解决教学资源分布的相似性,并结合线性相关性特征融合方法,实现英语教学能力评估的指标参数聚类和整合,教学资源的输出信息融合表达,和相应的教学资源分配计划是编译通过指数参数聚类和集成,从而实现英语教学的优化能力评估(18]。

3.1。设计的地图功能

映射过程的主要任务是计算几何数据样本点到集群中心的距离,然后将几何距离转换成通过隶属度的隶属度计算公式,最后样本点数据,集群中心指向它所属,和相应的隶属度输出。第一次读到HDFS的数据,并使用指定的(关键值)对输入格式的输入值映射函数,其中“关键”是数据样本点的id号,和“价值”是整个样本点数据;然后读取的最大利用率。最小距离算法计算初始聚类中心,计算欧几里得距离数据采样点到每个集群中心,并结合公式(2)的隶属度计算算法流程图如图2。根据采样点的隶属度和集群中心,它发现的最大价值,将集群的数据采样点属于中心对应的最大价值,最后以键-值对的形式出现(19]。Map函数的输出,中心代表集群中心的样本代表一个数据样本点属于集群的集群中心,会员代表样本的隶属程度指向集群中心。

3.2。Reduce函数的设计

Reduce函数的主要任务是接受几个(键值)对Map函数的输出,以减少他们找到全局最优解的集群。第一次接收Map函数的键值对,其中“关键”是集群中心和“价值”是数据样本点对应于集群中心;然后采样点属于同一个集群中心放置在同一组,和数据样本属于一组不同的集群中心融合,和一个新的集群中心是根据公式计算(3);最后,它是判断是否新的集群中心之间的几何距离和相应的集群中心,上一轮足够小或者迭代的数量超过了预定义的阈值;如果满意,迭代操作将退出,将存储在HDFS最终的聚类结果;否则,将使用新的集群中心作为下一次迭代的聚类中心,并使用减少的输出结果作为输入的映射下一轮迭代操作,直到满足收敛条件或迭代的数量大于阈值。

尽管模糊聚类算法具有更好的聚类效果比传统的硬聚类算法,仍有一些缺点。现有的聚类算法对初始聚类中心更敏感。因为该算法采用逐步迭代的思想,目标函数迭代期间不断减少。因此,如果c聚类中心是随机选择的样本数据集一开始,几何距离很小,这将导致最终的聚类结果陷入局部最优解,这是不利于找到全局最优解。因此,合理选择初始聚类中心是一种有效的手段找到局部最优解。最大和最小距离算法是一种启发式算法在模式识别。它的核心思想是找到样本对象尽可能远的集群中心。在这项研究中,最大和最小距离算法用于确定初始聚类中心,以避免情况的几何距离随机选择集群中心很小或分布相对集中。文献[20.]使用最大和最小距离算法来动态地确定初始聚类中心的k - means聚类算法,但这种方法不限制数量的聚类中心,和太多的集群产生更大影响的集群效应的影响。因此,采用动态的方法来确定初始聚类算法的聚类中心,和聚类中心的数量是有限的。

在并行融合方法设计,当要处理的数据量很大,模糊聚类算法的时间复杂度相对较高,和算法的复杂性主要是集中在每个数据样本的隶属度的计算点到集群中心和集群中心2的更新过程。大量的数据采样点导致太多的迭代聚类过程中,直接影响模糊聚类算法的计算效率。使用映射-规约模式编程模型和高处理效率和可伸缩性适用于大型数据集的并行处理。该模型使用两种编程函数Map和Reduce共同实现分布式并行计算任务。因此,这个模型的帮助下,模糊聚类算法是分布式并行计算大数据集群的每个节点,这可以极大地提高模糊聚类算法的性能。并行模糊聚类算法的流程图如图2。

模糊聚类算法的并行设计主要分为两个过程:Map和Reduce。首先从网络接收数据和数据从主机,执行属性筛选和数据标准化的两种类型的数据,然后结合模糊聚类的概念与使用映射-规约模式模型数据融合算法。Map阶段的主要功能是指根据数据样本的数据。集群的会员中心分类样本数据,减少阶段的主要功能是将数据属于同一集群的中心,以减少冗余的警报和最后决定它是否已经达到或超过一个预定义的迭代收敛性。如果不满足的次数,减少输入映射的结果,和下一轮迭代操作执行,直到满足收敛条件或者超过阈值的迭代次数;然后退出操作(21]。

4所示。分析仿真结果

4.1。一般信息比较

实验结果和分析,以验证改进算法的有效性,对算法进行了仿真实验。所选的工具是Matlab。假设融合处理是进行特征参数值(测量参数的真正价值是1)收集10传感器在某一时刻;也就是说,n=10。具体测量结果和传感器方差设置如表所示1。

第一次使用集群的k - means聚类方法测量数据。排序后,初始聚类中心Z₁(1)= 0.58,Z₂(1)= 0.95,Z₃(1)= 1.45。根据公式(5),第一轮迭代之后,我们得到了 经历3集群,然后,我们可以得到Z₁(2)= 0.54,Z₂(2)= 0.99,Z₃(2)= 1.48;在这个时候,Z_j(2)≠Z_j(1),j= 1,2,3,所以我们应该回到步骤(2),进行下一次迭代。

第二轮迭代后,Z_j(3)=Z_j(2),j= 1、2、3。在这个时候,该算法收敛,计算完成。我们可以得到 作为最后的集群;在这个时候,Z₁(3)=0.59,Z₂(3)= 0.99,Z₃(3)= 1.48;然后,从,d₁= 0.4514,d₂= 0.4875。从仿真中使用的测量数据的大小相对较小,精度要求相对较高,容忍的错误δ设置为+ 10%的真实价值;也就是说,δ=±0.1。根据设定的价值δ,就可以知道以上|计算d₁|和|d₂|都大于|δ|,所以的数据Z₁(3)和Z₃(3)可以被视为无效数据。我们有理由在数据融合和只需要删除它Z₂(3)融合的数据集,即 。

使用选中的融合数据集上执行融合处理,和最优融合结果是1.0046。传感器和测量结果方差设置如图3。

4.2。改进算法的性能

图4显示了Matlab的仿真图的加权系数系数改进的模糊逻辑算法基于k - means聚类和模糊逻辑算法改进。

从图可以看出4的权重系数改进的基于k - means聚类的模糊逻辑算法与模糊逻辑的完全不同。例如,对于传感器的节点5号,重量在改进前的算法仍相对较大。我们已经了解到,测量数据偏差比较大,这将误导融合数据。基于k - means聚类的改进算法,因为这个值是由k - means聚类算法确定为无效数据的分离,其权重系数变成零。看看2号传感器节点。在前面的算法,它的重量是由于其他偏差数据的影响相对较小,而在改进算法,因为它不受数据影响特别大的偏差,认为其可信度相对较高,增加了重量。事实上,也是如此(22]。这同样适用于其他节点,和权重都是重新分配,有效地提高了融合结果的准确性。

以大数据统计结果的英语教学能力评估的指标参数图5为研究对象,数据聚类和信息融合处理实现教学能力进行评估。表2显示了测试结果的评估准确性和其他指标。分析表明,用这种方法教学能力评价的准确性较高,和教学资源的利用率是更好的。

图5显示了使用模糊逻辑加权融合算法,自适应加权融合算法的文献[23),文学的最小二乘融合算法和模糊逻辑基于k - means聚类融合算法改进。我们提出一个模拟图的融合结果。它可以看到从图直观地6原来的融合结果加权模糊逻辑算法从设置的真正价值1最远的;融合的结果自适应融合算法和最小二乘融合算法和比较相似加权模糊逻辑算法。效果好,但仍存在一些错误;和基于本文改进算法的融合结果是接近1,这意味着融合结果是最精确的,这表明本文的改进算法的有效性。

4.3。融合算法的比较结果

表3列表的精确值的融合算法和各自的错误。

从图可以看出7结果使用自适应加权融合算法和最小二乘法确实相似,和错误都是零。使用加权模糊逻辑算法的偏差是最大的;同时本文提出的改进的模糊逻辑算法有最小的错误,这是0.0037。单独使用模糊逻辑算法相比,它有一个显著的改善,及其误差小于其他两个加权融合算法,进一步说明了改进算法的有效性。

同时,为了验证这个设计的并行融合方法的时间效率和数据融合率高于传统的融合方法在单个服务器上运行,时间效率和数据融合率控制通过控制工作在大数据集群的服务器数量。图8显示的比较之间的运行时间和数据融合率提高并行融合方法和传统的融合方法在不同模糊索引。

从图可以看出8融合效果是最好的时候米= 2,消耗的时间模糊索引2和3并没有太大的区别。综合分析后,模糊索引值的2是更合理的。

5。结论

本文研究英语教学能力评估的优化模型,提出了一种英语教学能力评价方法基于大数据模糊k - means聚类和信息融合,构造一个约束参数指标分析模型对英语教学能力的评估和分析,并采用定量递归分析方法。大数据信息模型分析英语教学能力的评价实现英语教学能力约束的熵特征提取特征信息,并结合大数据信息融合和k - means聚类算法实现集群和集成指数参数的英语教学能力。相应的教学资源分配计划编译实现英语教学的评估能力。研究表明,本文的方法是更准确的评价英语教学能力和提高英语教学资源的使用效率。在未来,我们可以应用k - means聚类在一些实际的应用程序中,和节点测量数据的偏差将导致融合。k - means聚类算法是一种基于相似性度量的间接聚类方法中样品。应用K - means聚类算法和选择适当的K值来分析教师的教学效果,我们可以实现定量评价和综合评价,提高评价水平,确定评价指标提供可靠的依据。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突或人际关系可能出现影响工作报告。

确认

这项工作是由黑龙江八一农业大学:人文交流与合作的跨文化沟通问题的研究在“带和道路”(没有主题。XRW2017-07)。

引用

1. 曹y s w·陈,“扩展蕴藏教育资源元数据的查询模型基于大数据,”国际期刊的继续工程教育和终身学习卷,29号4、374 - 387年,2019页。视图:出版商的网站|谷歌学术搜索
2. s . m . Mujeeb k Madhavi, r . Praveen山姆,“大数据分类方法的实证研究,“国际生物信息学研究期刊》的研究和应用,16卷,不。2、195 - 215年,2020页。视图:出版商的网站|谷歌学术搜索
3. 徐和y商”,合作质量评价供应链使用结构特点,“可执行性工程的国际期刊,16卷,不。5,页1 - 10,2020。视图:谷歌学术搜索
4. a·法鲁克,d .甄。”大数据分析技术对于智能系统,”《智能与模糊系统,37卷,不。3、3067 - 3071年,2019页。视图:出版商的网站|谷歌学术搜索
5. c .你x, z帅,f .江“智能网格大数据问题的审查,”可再生能源和可持续能源的评论,卷79,不。9日,第1107 - 1099页,2017年。视图:出版商的网站|谷歌学术搜索
6. z h . Munim m . Dushenko v . j .吉梅内斯·m·h·Shakil和m . Imset”大数据和人工智能在海事行业:文献回顾和未来的研究方向,”海事政策与管理卷,47号5,577 - 597年,2020页。视图:出版商的网站|谷歌学术搜索
7. j .温宣,y,问:高,和彭问:“基于小波的图像分割算法和数据驱动neutrosophic模糊聚类,“成像科学杂志,卷67,不。2、63 - 75年,2019页。视图:出版商的网站|谷歌学术搜索
8. l .周潘,j . Wang和a . v . Vasilakos“机器学习在大数据:机遇和挑战,“Neurocomputing,卷237,不。7,350 - 361年,2017页。视图:出版商的网站|谷歌学术搜索
9. c . c . Li Yang,江问:“文本聚类研究基于LDA联合模型,”《智能与模糊系统,32卷,不。5,3655 - 3667年,2017页。视图:出版商的网站|谷歌学术搜索
10. d·b·罗y太阳,g . Li Chen和z居,“分解算法深度图像基于大脑健康的人类健康的姿势,“神经计算和应用,32卷,不。10日,6327 - 6342年,2020页。视图:出版商的网站|谷歌学术搜索
11. m . Bilal l . o . Oyedele j . Qadir et al .,”大数据在建筑业:回顾现状,机遇,和未来的趋势,”先进的工程信息,30卷,不。3、500 - 521年,2016页。视图:出版商的网站|谷歌学术搜索
12. Yaqoob,中情局t·哈西姆a Gani et al .,“大数据:从开始的未来,”国际信息管理杂志》上,36卷,不。6,1231 - 1247年,2016页。视图:出版商的网站|谷歌学术搜索
13. l·t·杨x Wang h . Liu和m·j·迪恩”大数据即服务框架:最先进的和观点。”IEEE大数据,4卷,不。3、325 - 340年,2017页。视图:谷歌学术搜索
14. d . Scaldelai l . c . Matioli s r·桑托斯和m . Kleina”MulticlusterKDE:一种新的聚类算法基于多变量核密度估计,“应用统计学杂志》,3卷,不。1 - 24,2020页。视图:出版商的网站|谷歌学术搜索
15. 问:李,李,张,j . Hu和j .胡”审查文本基于语料库的旅游大数据挖掘,”应用科学,9卷,不。16,3300 - 3310年,2019页。视图:出版商的网站|谷歌学术搜索
16. y秦,叮,l . Wang和y . Wang”semi-supervised集群研究进展,”认知计算,11卷,不。5,599 - 612年,2019页。视图:出版商的网站|谷歌学术搜索
17. m . s . Mahdavinejad m . Rezvan m . Barekatain·阿迪比p . Barnaghi和a . p . Sheth”物联网的机器学习数据分析:一项调查,“数字通信和网络,4卷,不。3、161 - 175年,2018页。视图:出版商的网站|谷歌学术搜索
18. g . Bello-Orgaz j·j·荣格,d·卡马乔“社会大数据:最近的成就和新的挑战,”信息融合,28卷,不。8日,45-59,2016页。视图:出版商的网站|谷歌学术搜索
19. 徐,y苏,a高,“信任行为集群系统设计船的物联网终端基于大数据分析,“沿海研究期刊》的研究,卷97,不。1,第183 - 177页,2019。视图:出版商的网站|谷歌学术搜索
20. c . Avci b Tekinerdogan, i n . Athanasiadis”大数据的软件架构:一个系统的文献回顾,“大数据分析,5卷,不。1日—53,2020页。视图:出版商的网站|谷歌学术搜索
21. c .杨黄,z, k . Liu和f·胡,”大数据和云计算:创新机遇和挑战,“国际数字地球杂志》上,10卷,不。1,13-53,2017页。视图:出版商的网站|谷歌学术搜索
22. c . l . Chowdhary p v . Patel k . j . Kathrotia m .顶层k . Perumal和m . f . Ijaz”分析图像加密和解密,混合动力技术的研究”传感器,20卷,不。18,5162年,页2020。视图:出版商的网站|谷歌学术搜索
23. n代表哈雷·德文c Chowdhary et al .,“SMO-DNN:蜘蛛猴优化和深层神经网络混合入侵检测分类器模型,”电子产品,9卷,不。4 p。692年,2020年。视图:出版商的网站|谷歌学术搜索

版权

版权©2021陈镇。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。