去噪方法分类的学生的学业成绩

文摘

分类精度高的学生学习成绩促进招生决策和提高教育服务的教育机构。本文的目的是提出去噪方法分类的学生分成不同的组。神经模糊分类器使用以前的考试成绩和其他相关因素作为输入变量和标记的学生根据他们的学业成绩。结果表明,该方法实现了高精度。结果也与那些来自其他著名的分类方法相比,支持向量机、朴素贝叶斯、神经网络和决策树方法。比较分析表明,比其他人表现的更好的去噪方法。预计这项工作可用于支持学生入学程序,加强服务的教育机构。

1。介绍

准确地预测学生的表现在许多不同的情况下是有用的在教育环境。当招生办审查程序,准确预测帮助他们区分适合和不适合的候选人学术项目。未能执行准确录取的决定可能会导致一个不合适的候选人被大学录取了。从一个教育机构的质量主要反映在它的研究和培训,承认候选人的质量影响机构的质量水平。准确的预测使教育管理者能够提高学生学业成绩,将为学生提供额外的支持如定制的帮助和辅导资源。预测的结果还可用于讲师指定最合适的教学行为为每组学生,给他们提供进一步援助根据他们的需求。因此,准确地预测学生的成绩是提高产品质量的一种方法,并提供更好的教育服务。因此,预测学生的学术教育机构的性能是很重要的。一个非常有前途的工具来实现这一目标是使用数据挖掘。数据挖掘过程大量数据支持决策的发现隐藏的模式和关系。

数据挖掘在高等教育形成了一个新的研究领域被称为教育数据挖掘(1,2]。数据挖掘的应用教育教育者可以发现新的和有用的知识对学生3]。教育数据挖掘技术发展为探索来自教育机构的类型的数据。有几个数据挖掘技术,如统计数据和可视化、集群、分类、和异常值检测。其中,分类是最常见的研究技术之一。分类是一个监督学习的过程数据分为不同的类。分类数据映射到预定义的类组。一个分类模型的目标是预测目标类中的每个样本数据集。有各种方法的分类数据,包括支持向量机(SVM),人工神经网络(ANN)和贝叶斯分类器的方法4]。基于这些方法,一个分类模型,描述和区分数据类。然后,开发了模型用于预测类标签的新数据不属于训练数据集。这些方法已经被广泛应用于教育环境(5- - - - - -7]。在这项研究中,我们提出一个分类模型基于去噪方法来预测学生的学业成绩水平。

神经网络和模糊集合理论,称为软计算技术,是建立智能系统的工具。模糊推理系统(FIS)采用模糊if - then规则获取知识从人类专家可以处理不精确和模糊的问题(8]。费斯已经广泛应用于许多应用程序包括优化、控制和系统识别。模糊系统通常不学习和调整自己9),而神经网络(NN)有能力从它的环境中学习,自组织,以交互式方式和适应。由于这些原因,神经模糊系统,模糊推理系统和神经网络的结合,介绍了产生一个完整的fuzzy-rule-based系统(10,11]。神经网络和模糊系统的优点可以集成在一个去噪方法。从根本上说,神经模糊系统是一个模糊网络,不仅包括一个模糊推理系统,也可以克服一些神经网络的局限性,以及模糊系统的限制(12,13因为它可以学习和代表知识可判断的态度和学习能力。一个神经模糊系统、神经模糊分类器(NFC),结合强大的描述FIS的学习能力得到一个特征空间分割成类。“国家食品消费调查”已经普遍使用了不同的问题(14,15]。在本文中,我们使用一个NFC比例共轭梯度(SCG)算法提高了Cetişli和Barkana [16)分类的学生根据他们的学业成绩水平。

本文分为七个部分。后部分的介绍1,一些最常见的分类方法提出了部分2。部分3描述了神经模糊分类器。部分4致力于描述NFC训练的过程。数据准备的部分5和结果部分6。最后,部分7给出了结论。

2。分类的方法

各种方法用于从数据库中发现知识。在本节中,简要讨论了最常用的方法。

2.1。支持向量机(SVM)

支持向量机是一种监督学习方法受到先进的统计学习理论(17]。支持向量机已经成功地应用于许多应用程序在分类和识别问题。使用训练数据,支持向量机输入空间映射到一个高维特征空间。在特征空间,优化仿真被最大化利润或类边界的距离。接近最优仿真的训练点被称为支持向量。当决定表面实现,它可以用于分类新数据。

考虑一个feature-label对训练数据集与。最优分离仿真是表示为 在哪里核函数;是拉格朗日乘子;和从原点的偏移是仿真。这是受到约束和,在那里是为每个训练点和拉格朗日乘子是惩罚。只有那些训练点躺靠近支持向量非零。然而,在实际问题中,数据是嘈杂的,不会有线性特征空间的分离。因此,可以认定为最优仿真 在哪里是决定的权向量的方向在特征空间和仿真是th阳性松弛变量,措施违反的约束。

2.2。朴素贝叶斯分类器

朴素贝叶斯分类器是基于贝叶斯定理和一个给定的概率数据点属于一个特定类(18]。假设我们有训练样本,在那里是一个维向量和是相应的类。新样品,我们希望预测它的类使用贝叶斯定理:

然而,上述方程需要估计的分布在某些情况下,这是不可能的。朴素贝叶斯分类器是一个强大的独立假设概率分布由以下方程: 这意味着单个组件有条件地独立的标签吗。现在的任务分类所得的估计一维分布。

2.3。神经网络(NN)

神经网络可以表示复杂的输入和输出之间的关系(19]。分类过程基于NNs包括三个步骤,即数据预处理、训练和测试。数据预处理是指特征选择。数据的训练,从数据预处理步骤的功能提供给神经网络,并通过神经网络分类器生成。最后,测试数据被用来验证分类器的效率。

2.4。决策树(DT)

决策树是一个递归层次模型组成的决策规则独立输入分割成同质的部分(20.]。构建一个DT的目的是找到可以利用的决策规则集预测结果的输入变量。DT称为回归或分类树如果目标变量是连续的或离散的,分别为(21]。决策树可能的计算复杂度高,但它可以帮助识别最重要的输入变量数据集通过将它们在树的顶部。

3所示。神经模糊分类器(NFC)的体系结构

一个典型的模糊分类规则输入特征空间,这表明之间的关系和类,如下: :如果是和是和是,那么类,在哪里代表了功能或输入变量th样本;表示的模糊集th的特性th规则;和代表了标签的类。是由适当的隶属函数确定22]。

在NFC功能空间分区为多个模糊子空间的模糊if - then规则。这些模糊规则可以表示为一个网络结构。NFC是由以下组成的多层前馈网络层:输入,模糊会员,模糊化,去模糊化,规范化,输出。分类器的具有多个输入和多个输出。图1描绘一个NFC和两个功能和三个类。每个输入定义有三个语言变量;因此,有九个模糊规则。

会员层:每个输入隶属函数的确定在这一层。可以使用几种类型的隶属度函数。在这项研究中,利用高斯函数,这个函数以来更少的参数和平滑参数的偏导数。高斯隶属函数被定义为 在哪里的会员级别是th规则和th特性;代表了th样本th特性;和高斯函数的中心和宽度,分别。

中每个节点模糊化层:这一层生成一个信号对应的实现程度的模糊规则样本。叫做发射强度的模糊规则对对象进行分类。的发射强度th规则如下: 在哪里的数量特征。

去模糊化层:这一层,加权计算输出;每个规则影响每个类根据他们的重量。如果规则控制特定类地区之间的权重规则输出和特定的类将会比其他的权重。否则,类权重很小。加权输出样本属于th类计算如下: 在哪里表示程度的属于控制的类th规则和代表的数量的规则。

归一化层:网络的输出应该规范化,因为权重的总和可能在某些情况下大于1 在哪里表示的归一化值样本属于th类和类的数量。

然后,类标签样本获得的最大值如下: 在哪里表示的类标签样本。

4所示。培训NFC

为了确定一个最佳的模糊区域,参数,模糊if - then规则,必须优化(23),和是包含σ和中心的矩阵值,分别;介绍了从模糊化层的连接权重矩阵去模糊化层;,,的规则数量,特性,分别和类。的——利用聚类方法获得的初始参数和模糊if - then规则形成了(24]。的——聚类方法旨在输入特征空间分割成许多集群中每个数据点属于集群与最近的意思。这导致一个分区的数据空间。对于一个给定的数据集,这种方法可以估计数量的集群和集群中心。在图2,有两个输入的特征空间显示。假设每个输入都是分为三个通过采用模糊集——方法。每一个模糊集的特点是适当的隶属函数;因此,每个输入有三个隶属度函数。模糊分类规则描述了输入特征空间和类之间的关系。模糊if - then规则的形成如图2。每个输入都被表示为三个隶属度函数;因此,我们有九条模糊规则。

一些训练算法,包括卡尔曼滤波(25],Levenberg-Marquardt方法[26),被用来NFC的优化参数。应用SCG算法表明,SCG算法产生的误差和最高效率(最少27]。此外,SCG提高Cetişli和Barkana16)有能力减少每个迭代的训练时间,不影响收敛速度。因此,改进的SCG方法用于优化在这项研究。

最少的成本函数决定的意思是正方形的目标价值和计算类价值之间的区别。成本函数如下: 在哪里的样品和数量吗和代表的目标和计算值样本属于th类,分别。如果样品属于th类,目标价值是1;否则,它是0。

SCG算法的目的是找到最优或算法参数从成本函数。在SCG算法,下一个最近的更新矢量,,当前的向量被确定为 在哪里和梯度向量和的海赛矩阵吗,分别。这个产品,被称为牛顿一步;牛顿方向由负号表示。如果海赛矩阵是正定的二次,牛顿法直接达到局部最小值在一个单一的步骤(23];然而,达到局部最小值通常需要更多的迭代。Møller [28]介绍了时序参数向量这是之间和和被定义为 在哪里短步长和吗的共轭方向向量时间参数向量的迭代。实际的参数更新计算 在哪里下一个参数更新矢量;是当前参数向量;和是更新步长和实际参数计算如下: 在哪里二阶信息和吗表示基本的时间步长。计算二阶信息的,应当经一阶梯度。

SCG算法,两种不同梯度的计算参数向量迭代。梯度时间的参数向量计算使用短步长,实际的梯度参数更新计算使用远远不够的大小,这是获得使用。然而,Cetişli和Barkana [16说的梯度在比的梯度迭代更合适。SSCG(加速SCG),第二个梯度是用来估计第一梯度为下一次迭代。只有一个梯度估计的迭代时间缩短。

5。数据准备

本节代表应用程序模型的预测学生的学业成绩水平。在本文中,一个应用程序上下文相关的越南作为例证。

5.1。确定输入和输出变量

通过文献综述和讨论与招生官员和专家,学术,社会经济和其他相关因素,被认为是影响学生学业成绩的确定和选择作为输入变量。输入变量从入学登记资料和获得如下:高考结果(通常,在越南,固定的群体的候选人参加三个考试科目选择),整体平均分数从高中毕业考试,高中毕业之间的运行时间和获得大学录取,高中的位置(有四个地区,越南政府所定义的:区域1,区域2中,区域3和区域4。区域1包括地方艰难的经济和社会条件;区域2包括农村地区;区域3包括省会城市;和地区4包括中心城市),类型的高中参加(私人或公共),和性别(男性或女性)。非数值的因素必须转换为一种格式适合神经网络。并给出了输入变量和范围在表1。

所有分类方法的初步步骤是确定数据集的类的数量分类,分配类标签。基于当前分级系统所使用的大学和这个项目的范围,三个类被确定为“好”,“平均”和“贫穷。“如表所示2类标签被定义为1,2,3为“好”,“平均”和“贫穷”,分别。

5.2。数据集

我们获得的数据来自交通大学的技术,这是一个在越南公立大学。为输入变量,我们使用一个真实的数据集从学生的桥梁结构,输出变量,我们使用2011 - 2012学年他们的成就。数据集属于大学的运输技术,可以要求通过电子邮件联系相应的作者。数据集由653例,分为两组。第一组(大约60%)用于训练模型。第二组(约40%)是用于测试模型。训练数据集在模型建立,另一组用于开发模型的验证。

6。结果

在MATLAB环境中实现的模型编码和(MATLAB R2011b)和仿真结果被获得。100次迭代的NFC训练。在这项研究中,利用10倍交叉验证方法,以避免过度拟合。训练数据集划分为10个子集。每个分类结构是训练有素的10倍。之一,每次10子集作为验证集,剩下的子集被用作训练集。被选中的分类结构精度验证组最高(平均超过10分)。培训和验证后,NFC测试使用的测试数据集。分类器的效率决定通过比较预测的和实际的类标签的测试数据集。比较图3,混淆矩阵表示。

NFC能够准确预测60 71为“好”,139年从148年的42“平均”和36“可怜。“这给了一个精度为84.51%,93.2%,85.17%,“很好,”“平均”和“穷人”分别分类。这为NFC提供90.03%的准确率,满意的研究相比,结果预测。

NFC的性能评估,我们比较的结果与其他分类方法获得的NFC。10倍交叉验证方法也被用来识别分类器结构。支持向量机,RBF内核使用(通常称为高斯内核)。支持向量机分类器的预测精度测试数据集出来的82.76%。朴素贝叶斯分类器,分类器的预测精度是72.8%的测试数据集。为了实现基于神经网络的分类,我们调查了不同的神经网络结构和不同数量的隐藏层神经元。性能测量使用均方误差函数;Levenberg-Marquardt算法被用来训练神经网络。最高的网络体系结构的效率比较与其他架构被选中。选择的体系结构由一个单隐层神经元10。 Overall, accuracy of the neural network was 86.2%. Finally, a classifier based on a decision tree was applied to the problem. The classification and regression tree (CART) algorithm was used for constructing the decision tree model. The obtained accuracy for the decision tree was 82.76%. The results of these approaches to the classification of students’ academic performance levels are summarized in Figure4,连同混淆矩阵。当这些结果与通过NFC模型相比,发现NFC优于SVM,朴素贝叶斯分类器、神经网络和决策树分类学生学业成绩的水平。

从结果,可以得出结论,NFC模型可用于分类的学生分成不同的组基于他们预期学业成绩水平。模型实现了精度超过90%,这表明它可能是可接受的,足以作为分类器对学生学业成绩的水平。

7所示。结论

通过将学生分成不同的组,教育机构能够加强他们的录取系统以及提供更好的教育服务。因此,一个模型可以分类的学生根据他们的预期的学术机构的性能水平是必要的。有各种各样的方法来分类。然而,对于一个特定的问题,提高分类模型精度仍然是一个主题与重视。在这项研究中,我们提出了一个NFC模型一群学生。我们也评估模型的分类精度通过比较它与其他著名的分类器,包括支持向量机、朴素贝叶斯、神经网络和决策树分类器。结果表明,NFC模型优于他人。本研究的结果也加强这一事实比较分析不同的方法总是支持在选择分类模型具有较高的精度。预计这项研究可能被用作参考决策在录取过程中,提供更好的教育服务通过提供定制的援助根据学生学业成绩预测的水平。

确认

这项研究是由美国国家科学委员会批准号下的台湾NSC - 035 - 034 101 - 2221 e。作者要感谢审稿人的宝贵意见以提高本文的原始版本。

引用

1. a . Merceron和k . Ycef”教育数据挖掘:一个案例研究”12日人工智能国际会议的程序教育(ay ' 05),IOS出版社,阿姆斯特丹,荷兰,2005年。视图:谷歌学术搜索
2. c·罗梅罗和s·文图拉,”教育数据挖掘:从1995年到2005年,一项调查”专家系统与应用程序,33卷,不。1,第146 - 135页,2007。视图:出版商的网站|谷歌学术搜索
3. k·巴克,t . Trafalis, t·r·罗德。“从学生学习数据”学报IEEE系统和信息工程设计研讨会,第86 - 79页,2004年。视图:谷歌学术搜索
4. A·沙玛,r·库马尔,p . k . Varadwaj A·艾哈迈德·g·m·阿什拉夫,”比较研究支持向量机、人工神经网络和贝叶斯分类器对诱变预测,“跨学科科学,计算生命科学,3卷,不。3、232 - 239年,2011页。视图:谷歌学术搜索
5. b . k . Bhardwaj和美国朋友”,数据挖掘:使用分类预测的性能提升,”国际计算机科学与信息安全》杂志上,9卷,不。4、1 - 5,2011页。视图:谷歌学术搜索
6. n . t .明秀,p . Janecek和p . Haddawy”技术的比较分析预测学业成绩,”美国第37 ASEE / IEEE前沿教育会议(5 ' 07)美国威斯康星州密尔沃基,T2-G7页,2007年10月。视图:出版商的网站|谷歌学术搜索
7. 黄和n方”,预测学生学业成绩在工程力学课程:比较四种类型的预测数学模型,”计算机与教育卷,61年,第145 - 133页,2013年。视图:谷歌学术搜索
8. y Norazah, b . A和s . o .穆罕默德和c n .易普“简洁的模糊推理规则库基于rough-fuzzy方法,学生成绩”模糊推理系统理论和应用InTech,的哲理,2010。视图:谷歌学术搜索
9. r . Ata和y Kocyigit预测的自适应神经模糊推理系统的方法提示速度比风力涡轮机,”专家系统与应用程序,37卷,不。7,5454 - 5460年,2010页。视图:出版商的网站|谷歌学术搜索
10. js。r .张成泽“简称ANFIS: adaptive-network-based模糊推理系统,”IEEE系统,人与控制论,23卷,不。3、665 - 685年,1993页。视图:出版商的网站|谷歌学术搜索
11. k . s . Pal和s . Mitra神经模糊模式识别:在软计算方法约翰·威利& Sons,纽约,纽约,美国,1999年。
12. f . k . Nauck r·克鲁斯,神经模糊系统的基础约翰·威利& Sons,纽约,纽约,美国,1997年。
13. r·辛格a Kainthola, t·n·辛格,“估计岩石的弹性常数使用简称ANFIS方法,”应用软计算杂志,12卷,不。1,降价,2012页。视图:出版商的网站|谷歌学术搜索
14. 凯尔,a·萨梅特Hasiloglu a .凯尔和y Aksoy,“神经模糊分类使用NEFCLASS-J前列腺癌,”计算机在生物学和医学,37卷,不。11日,第1628 - 1617页,2007年。视图:出版商的网站|谷歌学术搜索
15. s . k . Sinha和p . w . Fieguth神经模糊网络的分类埋管缺陷,”自动化建设,15卷,不。1,第83 - 73页,2006。视图:出版商的网站|谷歌学术搜索
16. b . Cetişli和a . Barkana”加快了共轭梯度算法及其应用在神经模糊分类器训练,”软计算,14卷,不。4、365 - 378年,2010页。视图:出版商的网站|谷歌学术搜索
17. 美国安支持向量机的模式分类施普林格,纽约,纽约,美国,2010年。
18. 汉和m . Kamber,数据挖掘:概念和Techniquespublishers摩根考夫曼,旧金山,加州,美国,2006年。
19. 罗素和p . Norvig人工智能:一种现代方法,Prentice Hall,伦敦,英国,2003年。
20. a·j·迈尔斯,r . n . Feudale y . Liu n . a .伍迪和s d·布朗,“介绍决策树建模,”化学计量学杂志》,18卷,不。6,275 - 285年,2004页。视图:出版商的网站|谷歌学术搜索
21. m . Debeljak和s . Dzeroski决策树在Scological造型造型复杂的生态动力学施普林格,柏林,德国,2011年。
22. c . t .太阳和js。张成泽,”神经模糊分类器及其应用”第二届IEEE国际会议上模糊系统,1卷,第98 - 94页,1993年4月旧金山,加州,美国。视图:谷歌学术搜索
23. j·s·张成泽、c t .太阳和e .弘水谷去噪和软计算:计算方法学习和机器智能普伦蒂斯霍尔,上台北,美国,1997年。
24. Theoridis和k . Koutroumbas模式识别、学术出版社,伦敦,英国,2003年。
25. 微积分,卡尔曼滤波和神经网络约翰·威利& Sons,纽约,纽约,美国,2001年。
26. js。r .张成泽和e .弘水谷”Levenberg-Marquardt简称ANFIS方法学习,”《北美模糊信息处理学会两年一次的会议(96年NAFIPS”)加州伯克利,页87 - 91,美国1996年6月。视图:谷歌学术搜索
27. m·r·穆斯塔法·r·b·Rezaur s Saiedi h . Rahardjo和m . h . Isa”评价MLP-ANN训练算法建模降雨,土壤孔隙水压力反应”水文工程杂志卷。18日,50-57,2013页。视图:谷歌学术搜索
28. m . f . Møller”,一个按比例缩小的共轭梯度算法快速监督学习,”神经网络》第六卷,没有。4、525 - 533年,1993页。视图:谷歌学术搜索

版权

版权©2013广挂和Jeng-Fung陈。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。