文摘

注意被认为是充分条件将输入转化为吸收领域的第二语言习得和认知因素是一个主要影响第二语言学习。注意力转移的时间特性是一个更准确的反映了第二语言学习者的思维过程。在此基础上,本研究采用深度学习技术和虚拟现实技术来探索第二语言(英语)的注意力模式在线学习者在处理任务。线性注意力控制模型的实验表明,年轻的第二语言学习者在线任务绩效密切相关,这可以直观地解释他们的影响线性注意力控制在线任务完成。模型也有回归/预测精度高。

1。介绍

认知科学提供的机制和过程等智能活动感知和思维深度学习在人工智能的研究1]。认知科学的发展先进的深度学习人工智能通过集成不同的学科从不同的角度分析问题和解决问题(2]。同时,深度学习的发展大大有助于语言学习,尤其是第二语言学习。

基于深度学习的语言学习语言学习辅助人工智能设备和智能可以帮助人们完成交际任务的社会功能,实现与用户交互,他们的知识,和他们的环境3]。有许多语言学习紧密相连的智能设备,他们可以分为三大类:机器人、专家软件和集成平台。语言智能设备的主要类型是讯飞的译者,嘴唇识别机器人,战车(聊天机器人),Dasai智能机器人教育,Xiaobu英语教育伙伴机器人。专业的软件包括谷歌翻译、金山和灵格斯翻译,在线学习平台包括图书馆的起源和Goodreads, Moodle,黑板上,酒井法子,巨星泛亚(4]。这三种类型的智能设备统称为人工智能语言学习(AILL),区别在于他们不同程度的智力。

虚拟现实(VR)是指“看到一些现实,”也就是说,看到虚拟现实可视化,生成大会图纸,模式,然后转换成实体部分,输入数控机床在自动处理部分。真正的现实(身体)然后自动加工成数控机床(5]。虚拟现实技术使用计算设备来渲染和模拟视觉和听觉场景,而这些刺激人们的视觉和听觉感官渲染技术,为用户提供最好的模拟视觉和听觉器官的让他们印象深刻。最直接和刺激效应是“浸入式”和“参与浸”[6]。简而言之,这些模拟是通过计算模拟和产生错误的影响和场景。

从某种意义上说,电脑不仅是工具的研究,但与适当的计算机编程本身就是思想,与认知行为函数是等价的大脑和大脑认知的扩展,所以它是合理相信基于ai的语言学习的认知基础是扩展认知。针对这一点,本文介绍人工智能和语言学习基础上,探讨了智能语言学习的认知基础,即。扩展的认知,并指出其新对第二语言习得的影响7]。

在早期的虚拟现实,赵et al。8]在医学领域的应用虚拟现实技术,提出了使用电脑创建一个虚拟环境医疗从业者;Schwienhorst [9]研究电视手术设备的医生观察手术室操作乐器的三维图像连接到一台电脑,医生的动作传送到远程控制设备,执行手术,给医生的力反馈,质地,和声音。Besacier et al。10]描述了虚拟现实技术的作用,可以使人们看到,否则是不可能达到的事情,例如,查看和分析热场的分布由内燃机的燃烧点火后,允许飞行员训练模拟座舱操纵飞机。

随着教育信息化的发展,它已成为一个命题讨论如何教育部门、大学和老师可以虚拟现实技术融入对外汉语教学,提高教学效果,促进汉语教学的质量(11,12]。目前,只有少数研究和设计基于虚拟现实技术的应用在汉语教学作为外语或第二语言习得。林(13]分析了虚拟现实工具对第二语言习得和认为,虚拟现实理论主要是基于语言学习。

从抽象的角度理解、认知nonchanneled nonmodal-based认知。然而,从生物的角度来看,认知是嵌在身体和环境。扩展认知和经验认知研究的主流认知科学已经很长时间,但对第二语言习得的影响研究(SLA) (14,15才刚刚开始。SLA集成的基础上扩展认知和经验认知强调技术环境和遵循的价值三个主要原则:不可分离性原则,即。在SLA,思想、身体和环境一起工作,适应性原则,即。,SLA facilitates people’s survival and prosperity in a complex world, and the synergy principle. The inseparability principle is that, in SLA, the mind, body, and environment work together, the adaptability principle is that SLA facilitates people to survive and prosper in a complex world, and the alignment principle is that the main engine of SLA is interaction and synergy [16]。

除了它的角色,目前虚拟现实技术有一定的局限性,如限制用户的运动范围,无法实现完全的输入为非语言沟通,和用户的易疲劳研究人工智能和虚拟现实技术是对象在机器人技术,计算机科学的一个分支,涉及智能计算机系统的研究和设计。人工智能与人类智能。研究技术使计算机模拟人类的某些思维过程和智能行为(如学习、推理、思考和规划)(17]。例子包括谷歌的AI Alphago,谷歌的自动化驱动技术,和各种类型的机器人(例如,工业机器人,交付的机器人,机器人的竞争,杂货店送货机器人,机器人购物指南,和安全机器人)(18]。

严格地说,一个感知的智能机器人是一个自动机器,认为,行为。知觉是指检测的能力,识别和描述机器人的外部环境和自身状态。通过思考,我们意味着机器人并不只是做了它以某种方式被告知,但有能力自己解决问题,或者它可以找到自己的通过学习解决问题的方法。行动意味着机器人也有一个运行机制与一个驱动器,可以执行各种任务(19]。

3所示。深度学习模型

在这个实验中,模型的参数和结构是适应满足这个实验的数据处理需要使用的技术20.]。本文中使用的模型包括six-layer网络结构:两个卷积层,两层将采样,一个完全连接层和一个输出层(如图1)。每一个卷积层由三部分组成,卷积,池、和非线性激活,主要用来提取空间特征,而抽样层实现了平均池(21]。


图1
卷积神经网络模型。

通过使用CNN眼球运动图像的特征识别和预测,可以注意力转移之间建立一个映射模式和在线双语的处理能力的任务。然而,黑盒技术的问题,虽然有可能精确匹配的输入和输出,使它难以解释之间的非线性转换或占输入元素,对结果的影响。因此,还有一个需要添加一个模块可判断的CNN以确定关键特性的CNN,使得图像识别决策(22]。

本文使用热量地图可视化的方法,即一个热图是用来反映识别对象的关键特性。Gradient-weighted类激活映射(Grad-CAM) (23)作为热量地图可视化方法解释的决定基础的分类结果,直观地表示动图像识别的关键特性。

Grad-CAM需要关键特性映射后的最后一层卷积操作然后重量每个通道的特性类的梯度相关的通道。

Grad-CAM算法将单个图像的热图,它对应于类图像中感兴趣的区域。在这篇文章中,我们实现集团的提取特征模式的平均颜色信息特征对所有训练样本热图。根据Grad-CAM算法(24),可以计算所有特征图谱的重量

一旦类别的权重对所有功能得到地图,地图得到的热量总结他们的重量25]。然而,本文ReLU流程完成最后加权特性热图。添加一个ReLU层的原因是,我们只关心那些像素类别有积极的影响c。如果ReLU层没有补充说,一些像素属于其他类别可能最终被引进,从而影响解释。因此,热的地图可以来源于关键特性 在哪里 表示关键特性热图米图歧视这类c。因此,模式分类关键特性归类为所有传入网络c(假设有米可以用图) 在哪里 代表的平均结果特性映射加权输出图像的类别c传递到网络。然后正常化在0和1之间画一个热图对应于感兴趣的地区类别的形象。

第二语言学习者有良好的注意力控制,即。,the ability to follow visual cues to shift their attention immediately while receiving second language stimuli as required by attentional control, have a 64% probability of outperforming the average in immediate long sentence repetition; conversely, they are likely to underperform the average with the same probability [26]。

4所示。数据收集

本文中的数据收集从19名学生(10男9女,平均年龄6.42岁,标准差,SD = 0.507)一年级的小学。TobiiT120是用于收集的眼动数据。参与者被要求观看一段视频,视频中大约4分钟的英语朗读。视频中的词汇,这些年轻的第二语言学习者从未接触过,被用来注意力干扰排除在熟悉的词汇来反映学习者对第二语言刺激控制注意力的能力。视频正在大声朗读时,学习者attention-directing给出提示使用突出广场和要求他们听单词朗读,高亮提示。此外,为了避免任何可能的干扰,并给出了视频用一个简单的白色背景和黑色字体,如图2。视频的速度适应了参与者的注意力水平,和音频速度是15%低于原始音频的速度,每分钟大约56.65字在整个视频。通过实验,以19参与者旋转。2个月的实验是在一段时间内进行的,与所有的参与者完成两轮,其中一些进行第三轮。


图2
截图的视频用于眼动数据收集。

使用方程(3)计算每个参与者的平均长句子重复率,在方程(1), 长句子重复率的参与者吗我在长句子j在zth长句重复的任务, 由参与者的字数重复我在长句子j在zth长句重复的任务, 这个词的长句子吗j(27]:

所有参与者的平均长句子重复率在每个长句子重复任务然后从方程(计算4), ,在方程(5),代表了所有参与者的平均长句子重复率z任务。的两个第三eye-track训练集样本是随机选择的,和长句子重复率相应的参与者的注意力控制 标记为阳性(+),如果是哪个 ;否则,它被标记为负(-):

5。虚拟第二语言习得经验

本文结合虚拟现实技术与第二语言教学设计“浸入式虚拟仿真教室”场景,为第二语言的学习者提供一个直观的行为和心理现实主义的感觉。目前本文探索这种方法的虚拟模拟课堂,只简要地址的设计经验的场景或交互场景。经验现场本质上是一个高频场景中,第二语言学习者可以体验中国关键的词语和短语。它的质量是交互性25]。交互性允许学习者改变从一个局外人参与者,从第三人称的角度来看,第一人称的角度来看,允许学习者实验经验的互动和对话场景,他们希望从人工智能和接收反馈,从而实现收购的目的,练习,掌握语音、语法、语用学的某些词汇和短语(如图3)。


图3
词云基于VR显示。

这些互动场景解决缺乏“浸入式”和“互动”在教室里,缺乏自然互动的角色扮演,缺乏升值的巨大和复杂的委婉语,汉语和意义;它们使“浸入式学习”在任何上下文(例如,通过当前的魔法之支持),“沉浸式学习”的挑战,在任何情况下(例如,通过当前的魔法之支持),建筑场景的挑战和学习语言基于场景中很难实现真正的或想象的条件,例如,灾难演习,空间环境,和先进的实验室在不同的噪声环境,如图4。


图4
英语文字识别不同模式。

以下是可能的应用“浸入式虚拟模拟课堂”:(1)虚拟现实培训:在屏幕上提供的内容需要学习3 d代替复杂的道具,如时间表达式的学习和学习方向的单词;(2)虚拟现实建模:允许学习者想象如何某一项看上去像在不同的上下文中,与模型进行交互和接收即时反馈,这样他们可以学习他们的语言输出的真正效果,例如,教学,教学色彩词,医疗、教学设计和编程在进行职前培训中国人;(3)虚拟现实书:当学习者戴头盔显示器相机和扫描的目的内容的书,3 d动画、视频和声音。这桥之间的差距课堂知识和现实生活之间的鸿沟,教师的语言和双向沟通;(4)发现学习:类似于任务型教学方法,学习者使用AR技术来识别相应的汉字和实时解释,在校园里,在纪念碑,在购物中心,和其他应用程序中,使用真实的场景或他们所学到的东西,发现新的知识。新知识是后天习得的迅速和有效地解决问题的过程中,如图5。


图5
不同的词汇学习效果。

“浸入式虚拟仿真的设计教室”实际上是利用新奇的情境教学策略,使用虚拟现实技术。相反,它消除了要求的教师,可以调整的内容和强度双向沟通根据自己的意愿在28]。从长远来看,“浸入式虚拟教室”体验优化老教师的课堂结构,腾出更多的时间来实现人才发展规划,加快教育现代化,如图6。


图6
不同的学习分类的效果。

到目前为止,第二语言学习者的注意力控制模式提出了卷积神经网络和Grad-CAM技术构造了高精度预测所有标记的迹象(29日]。然而,尽管众所周知,差的学习者注意力控制表现不佳的长句子检索任务,我们仍然不知道在多大程度上可怜的注意力控制可以防止一个学习者复述句子的平均长度。

我们可以看到不规则的区域图7,学习者的注意力性能较差的学习者的注意力控制仍基本符合良好的注意力控制在第一个四个片段,但剪辑5 - 7显示控制注意力控制性能差异,而剪辑8 - 9显示同步注意力控制特点,并再次剪辑10 - 18显示差异,差异扩大的范围。注意力控制模式保持一致的剪辑片段21 - 19日至20日,再分散。这提供了一个更深入的解释第二语言学习者的注意力控制模式以应对双语视听刺激:学习者完成立即在线任务更好的倾向于有更多的注意力控制一致,保持同步的视听的注意。然而,学习者不能够完成立即在线任务难以控制他们的注意力,但仍有经验的异步控制他们的视听的注意。他们在很大程度上能够保持良好的注意力控制第一个4剪辑,和注意休息后,重新关注可以维持2剪辑的控制模式。


图7
特征聚类在不同的规则。

6。结论

扩展认知环境加入到认知过程中,即使在同一水平作为大脑的认知功能,和认知科学的研究提供了新的视角。这一观点颠覆了SLA的想法只是一个掩饰的过程。基于扩展智能语言学习认知表明SLA应该遵循环境不可分割的原则,适应性,和协同,充分利用各种智能设备和环境的可用性。同时,语言与自然相关信息,本质上的统一,和固有的共生,第二语言习得的技术范式嵌入深度学习模型需要进一步探讨。

数据可用性

在当前的研究中使用的数据集是可从相应的作者在合理的请求。

的利益冲突

作者宣称没有利益冲突。