文摘
大数据领域的教育的崛起提供了一个机会来解决大学生成长和发展。建立个性化的高校学生管理模式基于大数据的变化将促进学生个性化的管理经验模式的科学模式,从被动应对主动预警,从整体数据点数据的依赖,从而提高个性化学生管理的效率和质量。在本文中,使用最新的技术和管理理念等深度学习self-supervised学习和多任务学习,我们建议一个开源教育大数据pretrained语言模型F-BERT基于伯特模型架构。基于伯特架构,F-BERT可以有效地从教育大数据并自动提取知识和记忆的模型无需修改模型结构特定的教育大数据任务,这样就可以直接应用于各种教育大数据域下游任务。实验表明,香草F-BERT超过两个香草BERT-based模型、香草伯特和伯特任务,0.0.6和0.03%,分别的准确性。
1。介绍
近年来,大数据不断对社会各领域产生深远的影响,推动人类思维和实践的重大改变。同样,它的力量是强烈影响整个教育系统,正在成为一种破坏性的力量推动创新和教育体制的变化1,2]。大学生发展指标的评估是尊重个体的独特价值的管理学生,发现他们的潜在能力,引导他们形成独立的个性和独特的个性,并促进学生个体的自由和科学发展。个性化的发展应该结合全面发展3]。促进高校学生的个性化管理是一个重要的元素,促进实现个性化教育。目前,学生管理者基本上使用实证相结合的方法,观测方法,和简单的数据统计来实现个性化管理,取得了一定成果,但也存在难以克服的问题,如贫困瞄准和明显的滞后4]。根据学生的能力如何实现准确的教育已经成为高等教育大众化的一个困难的问题在这个阶段。大数据的出现在教育为大学提供了一个机会来实现个性化学生管理(5]。
“共享增长”的主要特征是,它包括一个以信息技术为基础的共享市场由第三方平台,个人可以交换闲置物品和分享他们的知识,技能,和其他信息收费(6]。随着移动互联网的发展,智能手机和移动终端的普及,为智能手机和第三方应用程序的可用性来促进用户参与“分享”商业化共享平台的数量一直在增长。这些现象被称为“知识共享。“目前,商业化个人人类创造和知识共享平台越来越完善,但研究建立共享平台为学生的成长和发展经验,大学还没有报道(7,8]。作者认为,由大数据驱动,高校教育学生的过程中会引入的概念分享和称之为“共享增长。”
“共同成长”的核心内涵高校教育模式,帮助学生获得发展的普遍规律和最现实的路径通过构建一个平台,记录、分析和共享增长数据的大学生(9]。首先,学生的作用是改变从“学”的传统角色的作用“教学”和“学习”,和个别学生的成长经验转化为其他学生教育的一个重要元素。其次,教育是改变的内容从传统的成功经验成功和失败的教育经历,这样学生可以学习优秀的独立成长和成功的经验和避免经济增长的问题。在此基础上,“共同成长”教育主题,可以有效地实现完全覆盖的全部影响教育资源,教育过程的充分参与,全面转变教育模式(10]。
“共享增长”将参与教育的整个过程。基于大数据技术,“共同成长”涵盖了学生教育的整个过程。从教育教学的基本数据的实时处理数据的行为记录,“共享增长”将记录,分析和分享学生的发展和成功的数据在整个过程(11]。数据的积累和学生的发展,学生的清晰和三维“肖像”的增长画“共享增长”将伴随整个学院的过程。即使学生毕业后,其经济增长“肖像”数据仍然可以被用来作为一个教育资源,极大地扩大教育的时间框架,使全面参与在大学教育的各个方面。此外,中国的快速进入移动互联网时代奠定了技术基础的长期实践“共同成长”12]。
2。相关工作
Pretrained模型首次应用领域的机器图片和电脑视频。在大型图像识别竞争ImageNet, AlexNet [13),取得了第一名,被介绍,它采用了卷积神经网络模型架构基于CNN (14]。从那时起,AlexNet已广泛应用于许多机器视觉任务。实验结果表明,重用pretrained模型可显著提高目标任务的准确性也大大减少训练时间的新模型。
谷歌发布了pretrained语言模型伯特(15在2018年下半年,在自然语言处理社区具有划时代的意义。接下来,伯特模型实现最好的模型准确性的所有超过十自然语言理解的任务,取得了显著的改善几个公共自然语言处理比赛,甚至超越人类的准确性等比赛的常识推理,自动问答、情绪分析、提取、和命名实体识别的关系。同时,伯特模型的源代码后被释放了,后续的研究人员进行了各种自然语言处理任务基于开源的代码和pretrained模型进一步显著提高各种NLP任务模型的性能。例如,在球队排名前20位的模型(16- - - - - -18]竞争排名选择使用伯特模型,和自己最好的成绩超过了人类的水平;在CoQA [19]竞争排名,前12个模型都是基于伯特模型和模型也实现分数超过人类的水平。CoQA竞争排名前12个模型也是基于伯特模型和模型也达到人类水平以上。
3所示。大数据整合大学生教育的大学
教育活动包括正式的活动,如教学、研究、管理、校园生活,和服务,以及非正式的家庭沟通和社会教育等活动,线下现场教育和在线视听教育。这些都是教育的环境中生成的数据。环境的创造者是“主题”和“教育”大数据管理平台,这两个也是教育大数据来源的一代(20.]。“主题”包括学生、教师、工人、学生和学校管理人员,和“教育大数据管理平台”包括基本信息系统、动态的收集和处理系统,教学系统,学生事务系统,一卡系统,和其他类型的教育管理设备。大数据在教育要求每个系统打破壁垒,除了必要的保密信息,实现互操作性(21]。在各种教育活动,所产生的大量数据记录的“主题”和“教育大数据管理平台”的充分挖掘,连接和集成整合的教育大数据可以应用于教学管理(见图1)。
高等教育的所有演员都生成动态数据。学生在他们的学习生活,离开数字片段如选课、在线社交行为,参与党和学校活动,图书馆访问、年级动力学,和校园卡使用。所有这些数据可以充分挖掘、整合和分析与人工智能和云技术的帮助下,将分散的数据转化为知识的信息。一方面,这使教师为学生提供个性化的学习内容和资源;另一方面,它也可以为学生工作者和管理者提供及时的信息进行预测和调整领域的学生管理服务(4]。很明显,data-empirical学生管理研究正逐渐打破的枷锁经验管理和发展成一个真正的数据支撑了研究范式。吉姆灰色数据密集型研究的提出了“第四范式”,将大数据作为一个单独的研究范式22]。因此,大数据在教育肯定会导致模式的变化和高校学生管理的方法。
如今,基于大数据挖掘和分析工具来改变大学生的管理模式已经成为必要的选择高校发展的现在和未来。学生教育管理活动支持大数据有明显的优势与传统的管理相比,这种新的管理模式将发挥独特的作用,改变大学生的个性化管理实践(23]。
这种新的管理模式下,工人从经理服务提供者逐步改变学生帮助学生个人和群体个性化发展。传统的校园系统将升级到智能校园平台,这将持续燃烧个人行为数据,存储、整合,并超越他们明智地,准确地诊断和评估个人和团体的现状和问题基于挖掘和分析工具24),形成视觉分析报告,制定个性化的管理服务计划后,管理者和学生作出了纠正改进,帮助学生成长,成为成功的。根据上述分析,本研究构建个性化的管理模式为大学生基于教育大数据(见图2)。
不同于传统教育数据收集、教育大数据收集的来源更加多元化,包括内部数据服务平台,互联网数据,动态传感数据和物联网数据(25]。一方面,数量庞大且复杂,结构数据和非结构化数据并存。非结构化和多源异构数据;另一方面,很难收集到的现有系统由于其动态和不规则的特性,和最新的收集技术必须采用最初收集和处理数据。这些集合技术主要包括物联网传感技术(26]。
为了确保教育的有效性和可用性数据,有必要保持标准和质量检验关的过程中数据收集和使用技术手段来实现原始数据的初步转型指出高质量的有用的信息,特别是促进转换非结构化数据的存储、数据集成和分析教育。目前,技术可以更好的实现数据的初步处理的方法主要包括收集高质量的原始数据,数据清洗的方法,可追溯性的管理数据,解析多源数据的方法。
4所示。F-BERT模型
如图3,我们提出一个创新的垂直领域pretrained语言模型基于伯特模型架构使用self-supervised学习和多任务学习技术深度学习等教育领域的大数据pretrained语言模型,我们的名字F-BERT模型(27]。F-BERT模型也是一个两级架构pretraining和微调。在pretraining阶段,F-BERT与传统伯特pretraining的不同之处在于,而不是使用少量的pretraining的培训目标,介绍了多个pretraining任务模型来帮助更有效地学习。
4.1。编码器
在pretraining阶段,我们使用变压器伯特编码器,采用类似的编码方法,即。位置嵌入,嵌入,嵌入和令牌;但除此之外,我们设计一个额外任务编码(任务嵌入)。对不同pretraining任务,我们使用不同类型的任务编码优化建模的任务。为N范围从1到任务,任务idN。每个任务ID映射到不同的编码,最后输入编码输入编码=位置编码+段编码+标记编码+任务编码。这是显示在图4。
其次,计算输入编码的注意,我们使用变压器的多头self-attentive机制。它主要由查询的查询(所取代问),关键的关键(所取代K),价值值(所取代 )作为输入,然后,我们的项目问,K,利用线性变换,我们可以同时计算多次,即。,我们使用多个h代表h不同的线性变化。最后,所有的注意值缝合在一起完成一个多头注意计算(28]。为一个问关注的输出函数的加权组合 。为了简化计算,我们采取相同的问,K,值自我关注和使用扩展点积计算的注意。特定的关注功能 在哪里d表示问,K,向量维度。
4.2。Self-Supervised多任务学习Pretraining任务
当前pretraining阶段主要使用句子或词同现信号为pretraining语言模型设计不同的任务。例如,原始伯特模型构造2培训任务(蒙面语言模型任务和下一个句子预测);XLNet [29日)模型使用的完全一致的语言模型以自回归的方式再培训。相反,我们有叠加大量重复训练目标F-BERT模型;就像人类在外语测试中,有许多不同类型的问题在纸上,如果训练可以集成,它将非常有助于提高整体学习。具体地说,在pretraining阶段,F-BERT构造四个self-supervised pretraining学习任务和学习不同知识水平的训练文本语料库通过多任务学习。如图4,四个self-supervised pretraining任务跨度替换预测pretraining任务,资本化预测pretraining任务,句子混乱pretraining任务,和问答句子关系pretraining任务(30.]。
4.2.1。准备跨度替代预测Pretraining
我们采用一个句pretraining任务实现跨越pretraining替代预测。这个问题是进一步放大文本语料库的教育大数据领域,这减少了学习的有效性模型(17]。
对于跨度替代预测pretraining任务,具体地说,我们第一次迭代样本序列的文本 ,即。,for each word sequence, by defining a mask proportion threshold (e.g., 20% of the entire sequence) to construct a subset of sequenceY。
在F-BERT训练任务中,我们采用随机选择一定长度的文本基于几何分布。由于几何分布是一个离散型概率分布k试验得到第一个n伯努利试验成功,我们能够得到这个词的起点一致(随机)和分离可以得到更短的序列。为了获得一个更好的采样长度分布,几何概率分布在F-BERT模型血钠过多P= 0.18,最大长度限制T= 16(多余的被视为丢弃),和我们通过实验获得的最好的平均序列长度是4.6。接下来,我们实现的实现跨越替代预测pretraining任务。在F-BERT训练过程中,我们定义跨越四个字的前后跨越的界限,如果这些话并不在,我们用这四个字加上向量的向量的蒙面的话在预测原词。具体实现是使用双层前馈神经网络层正规化,我们使用ReLU [31日)的激活函数。因此,拼接的编码向量和的位置向量如下:
我们也利用交叉熵作为损失函数,这是跨越更换的损失预测pretraining目标模型的训练。
5。实验分析
在本节中,我们首先给pretraining数据集的建设;然后,我们比较的性能与最新pretraining F-BERT模型在几个教育大数据的任务;最后,我们执行一个详细的模型分析,包括pretraining对模型性能的影响,与少量pretraining pretraining分析数据,并讨论pretraining语料库的大小。
5.1。Pretraining数据集
为了更好地培养F-BERT模型,我们主要是建立一个基于通用域和教育训练语料库大数据领域。我们还构建教育大数据领域的训练数据集通过爬行各种金融教育大数据网站上文本数据,包括金融新闻和对话32]。
5.2。实验结果
该方法获得了ES(句子结束)得分为0.93分,BS(句子的开始)得分为0.95,平均(平均)得分0.938。BS(句子开始)得分为0.95分,平均得分(平均)0.938是最好的成绩为评价指标。在实验结果,pretrained F-BERT通用领域语料库和大教育数据域语料库非常有效且达到显著模型性能改进在大教育数据句子边界检测任务(33]。
从表1,我们可以看到F-BERT模型的性能和其他金融短语银行竞争方法和教育大数据情绪分析数据集(FiQA Task1)。
情绪分析数据集FiQA Task1包含两个主要类型的数据:大数据新闻标题和教育大数据微生物学。FiQA Task1专门有两个评价指标(26]:均方误差(MSE)和平方值(R2)。在表2MSE (H)和MSE (P)表示教育大数据的均方误差微生物学和教育大数据新闻标题,分别R2(H),R2(P)表示R教育大数据的平方值微生物学和教育大数据新闻标题,分别。很明显从表3最优模型F-BERTLARGE FiQATask 1获得MSE的值(H)= 0.30和R2(H)= 064,MSE (P)= 0.34和R2 (P)= 0.27。
实验结果表3表明F-BERT优于所有其他方法时提交金融短语银行和FiQA Task1。F-BERT显著优于所有其他方法在提交的时候,它演示了该方法的有效性。当前的实验结果是鼓舞人心的考虑使用众多先进的模型语言特性的复杂性,他们强调的重要性语料库pretraining设计特定的大教育数据域。
5.3。实验分析和讨论
为了分析每个组件体系结构内的影响最终性能详细,详细模型的分析架构执行在本节中,包括一个讨论pretraining对模型性能的影响,少量的pretraining pretrained数据分析,和pretrained语料库的大小。
5.3.1。Pretraining对模型性能的影响
pretraining对模型性能的影响进一步测量如表所示4。相应的测试数据集模型评估使用的准确性,精度和召回。
虽然伯特任务是进一步pretrained教育大数据域训练集,香草F-BERT超过两个香草BERT-based模型、香草伯特任务和伯特,0.0.6和0.03%,分别的准确性。这表明F-BERT有效利用从大量未标记的特定领域的知识教育在pretraining大数据文本。
5.3.2。少量Pretraining数据的分析
Pretrained模型通常需要大量训练语料库进行训练,但是很难有一个大的带注释的训练语料库在很多应用领域的教育大数据。因此,为了进一步验证F-BERT的优点,本文进行了模型试验。实验用小型语料库pretrain伯特F-BERT,分别。具体来说,随机选择1/8大小的文本数据在整个大教育训练数据集作为训练语料库的数据。然后,基于这个小语料库由我们自己的模拟,所有模型pretrained和测试在同一任务的实验部分5。2,实验结果详细表5。
从实验数据中我们可以看到表5实验显示,这一趋势与前面的实验相比,和F-BERT模型始终优于伯特在所有任务。这个实验的结果进一步证实F-BERT提供了一个稳定增强模型训练时在不同大小的数据库。如表所示5,这些实验数据还表明,F-BERT模型可以提供更多的帮助在特定教育大数据文本处理任务,如教育大数据机阅读理解任务,教育大数据情感分析任务,和教育大数据句子边界检测任务。总的来说,实验模拟pretraining教育的情况大数据文本有限的数据,在特定的领域是一个经常遇到的问题,从而展示的潜力F-BERT处理小的训练数据集问题在特定领域(14]。
所有职能部门高校普遍建立了大学生的基本数据库,记录学生的个人信息、学术生活、社会活动,和其他基本数据在学校期间。数据不兼容,而不是可互操作的。因此,为了促进“共享增长”,我们必须首先探索各种数据库的集成和共享在当前条件下大学教育。一方面,大学的信息化建设部门应该搞好顶层设计,探索数据库集成的全面和有效的技术解决方案,进一步规范数据库管理方法,促进集成现有的学生从上到下的基本数据库。另一方面,大学各部门应积极配合,打破壁垒,实现数据集成,进一步研究和重复项消除从共同努力,建立一个长期的对接机制,不断优化和集成的大型数据库19]。
6。结论
在本文中,我们使用self-supervised学习和多任务学习技术领域的深度学习提出一个创新pretraining大学生成长和发展指标模型基于伯特模型架构F-BERT。最低限度修改模型结构为特定教育大数据任务,F-BERT优于当前最先进的模型在几个教育大数据文本数据挖掘任务。“共同成长”的核心教育模式由一个数据库增长,数据挖掘和分析系统,共享平台。增长的数据库主要包括学生的“基础数据”和“行为数据。“基本数据覆盖传统的学校基本信息等数据,学术成就,奖励,惩罚学生。
数据可用性
本文中使用的数据集可从相应的作者。
的利益冲突
作者声明,关于这项工作他们没有利益冲突。