文摘
作为一个扩展的云计算,计算边缘弥补了云计算在一定程度上的不足。边缘计算减少不必要的数据传输,使实时的重大贡献和安全系统由于其接近终端设备的特点。在本文中,我们研究关注的问题检测。注意力集中在某些特定任务起着至关重要的作用,这表明人类的有效性和性能。评估注意力集中状况在许多领域是至关重要的。然而,很难定义的行为特征与各种任务和行为有关。为了解决这个问题,我们提出一种智能边缘系统关注浓度分析,eaCamera,认识到学生的注意力集中的行为。客观测量和保存标签成本,eaCamera利用人工智能方法找到浓度行为基于行为分析模型两个方面,即个人和集团角度。个人观点表明个人行为变化在时间维度集团角度表明行为在一组行为方式的变化。评估拟议的系统,完成一个案例研究在一个小学教室里来评估学生的表现,为教师提供教学建议。
1。介绍
目前,注意力集中分析系统是用来跟踪个人的关注国家获得其注意力持续时间。认知的研究表明,在任何领域取得成功的至关重要的技术性能(1]。改善注意力集中的时间和场景在很多领域至关重要。
然而,状态不能直接观察到浓度(2]。研究人员,尤其是认知计算和计算机视觉,试图捕捉status-related浓度等功能头部姿势,眼球运动,情绪,行为,和视觉注意力估计浓度状态。在不同的元素的一个方面,采取了两种注意定义(3]:(我)Object-driven:注意力关注对象的过程。注意是基于对象的,所以注意也可以被定义为多少你专注于一个对象。(2)该主页:人类的大脑总是专注于手头的任务,这是相关的高级精神人类大脑中的信息。当一个人类所做的一项任务,它是一种高级信息,指导人类的关注(5]。
基于object-driven注意力的视觉注意力是一种常见的方法,突出了图像的重要区域,观察者会分配注意力乍一看。全面的方法来表示视觉注意力的眼睛固定显著对象(6- - - - - -8)或凸起地图(9,10]。在这些方法中,显著对象或地图通常通过观察者的眼睛注视眼动跟踪设备,记录观察图像。
开车注意力的研究分析,我们注意分析实现情报系统的优势。折边机收集数据、处理数据通过对策实例检测方法11),分析了注意力的集中,并生成一个报告。数据定期传送到云服务器,以避免数据丢失。
注意检测无法避免的处理大规模的视频。如果视频传输到云处理每一次,它将消耗大量的时间和精力在数据传输和处理。与此同时,它引入了不可忽视的延迟。此外,我们的研究为注意力检测使用先进的图像处理方法。通过图像识别关注包括多个任务,如人脸识别,注意识别,等等。此外,这些任务进行边缘设备。边缘设备本身是有限的计算资源,因此,必须通过使用轻量级技术实现一定的准确性。在本研究中实现的智能边缘系统,边缘设备有限的计算资源作为云的代理来处理视频。因此,本研究促进边缘支承复杂系统的研究在一定程度上。
在注意力集中检测智能边缘系统的一部分,基于该定义的注意力集中注意力提出的任务级别的功能。相关的任务级别的功能任务类型和它的环境。因为有各种各样的任务和不同的环境中,很难描述或找到所有任务相关注意的行为。根据研究,面部表情可以承认根据面部特征点的检测12]。
近年来,信息技术已经越来越广泛地应用于教育行业。与人工智能技术的蓬勃发展,其在教育中的应用一直在增加,与一个有前途的潜在提供定制的学习,提供动态评估,并促进有意义的交互在网络,移动,或混合学习经验13]。在线教育服务,如谷歌教室,变焦,和微软的团队也一个接一个出现14]。反过来,教育产业的研究有利于扩展神经形态的设计完成硬件原语和相应的芯片(15]。因此,我们专注于封闭多个人空间:教育环境。在这样的环境中,我们有以下的观察:(我)个人行为将改变随着时间的推移,这表明浓度状态更改。例如,当老师问学生阅读教科书,有一个学生初读教材,但看着窗外。通过比较阅读教科书的行为变化,看着窗外,个人的浓度的变化可以被捕捉到。(2)群体行为表明注意力集中的状态。在封闭的空间,尤其是像课堂教育环境或因素,大多数人遵循仪器和专注于完成任务,这表明大多数人会有相同的行为根据指令。因此,可以捕获的异常行为,并抽象状态的人。
根据以上的观察,研究情况下,eaCamera(一个案例研究在基于ai复杂注意分析与边缘系统),介绍了。EaCamera关注教育场景和封闭多个人空间。它是部署在一个小学教室获得浓度持续时间为学生讲座时间。起初,eaCamera接受原始的视频讲座。视频后,经过计算视觉管道和行为分析管道分析学生的浓度在教室边机器上。最后,eaCamera提供静态报告老师,可用于下游教学任务,例如,分析教学的性能和改进教学方法。在eaCamera,我们提出一个新颖的注意力集中分析模型,从两个角度,捕捉任务相关的注意行为,即个人和群体的观点。分析模型是一个无监督学习过程,自动检测注意力的行为。
剩下的纸是组织如下:部分相关工作总结作品激发此相关工作;部分系统架构描述eaCamera并解释其机制的系统架构;部分注意力集中分析提出了一个注意控制分析模块,这是至关重要的组件在eaCamera;部分研究结果描述了案件我们部署eaCamera在当地小学评估建议的方法;结论部分总结了工作。
2。相关工作
许多注意力集中类型的在计算机科学领域的研究集中在object-driven注意力模型,和一些专注于该模型。注意浓度分析系统无疑是浪费时间和资源来传输数据的云分析,智能边缘系统可以解决这个问题。因此,我们引入边缘情报系统的基础:首先计算边缘。然后,我们回顾visual-based作品的关注。后,我们回顾共同注意力的方法,激发我们的群体行为模型。最后,一些相关的深度学习模型,认为本研究的基本方法,介绍了。
2.1。边缘计算
边缘计算指的是一个开放的平台集成网络、计算、存储和应用程序的核心功能接近的对象或数据源提供最近的终端服务。虽然物联网的安全设计应用基于边缘计算仍处于起步阶段,有许多最近的边缘层物联网安全解决方案,使得边缘计算有很大的应用价值(16]。与云计算的系统架构相比,边缘计算体系结构是接近边缘用户和终端设备。相比之下,从用户到云的距离,距离用户边机是可以忽略不计17]。因此,用户可以获得更快的响应。同时,边缘计算也有合作机制(18),解决了隐私和信任问题在大的数据驱动的复杂系统在某种程度上。并行优化算法和基于强化学习的联合优化算法也可以用于边缘机器来减少任务执行延迟和控制额外资源消耗(19,20.]。
由于地理分散的云数据中心,存储和处理需要数十亿地理上分布的传感器往往不满足。结果是网络拥塞和高延迟交付服务,这可能会导致服务质量(QoS)的减少。通常,边缘计算是由传统的网络元素,如路由器、交换机、代理服务器和基站(BSs)。它可以放置接近物联网传感器。这些组件提供了各种各样的计算、存储、网络和其他功能,可以支持服务应用程序的执行(21]。
目前,有许多注意力检测模型。然而,由于缺乏先进的硬件资源,这些预测模型不能用于日常生活的分析任务。优势在这个问题智能系统具有较高的应用价值。EaCamera捕获和处理视频边缘方面,分析了注意力集中状况,并将生成的数据发送给云方显示。这避免了大量的视频数据传输和节省大量的资源和时间消耗。
2.2。视觉注意力
检测saliency-based视觉注意力的典型工作流预测显著对象/地图,然后最小化损失,即预测和地面的真相之间的区别。预测显著地图对象,单一处理流网络是用来提取特征映射在早期作品。然而,单个流网络是无法提取多尺度的线索。因此,荀黄提出使用多个流网络(22]。由于功能映射提取视觉问题的重要性,许多作品来研究如何提取特征。博杜和熊提出模型提取特性在一个无人管理的框架,实现出色的性能(23,24]。最近,一项研究提出,网络的第一层macroinformation和后者层捕获详细信息(25]。新颖的体系结构,提出了提取特征通过结合不同的层(26,27]。详细调查显著目标检测可以在工作中找到(28,29日]。
尽管saliency-based视觉注意力研究人类关注的外部形象,在许多实际情况下,我们需要推断出人类的注意力从图像内的第三人称视角。在一个典型的场景中,我们需要找出注意力集中的对象在一个图像或视频。
Hyeonggyu公园提出了推断人类注意通过使用他们的眼动模式(30.]。参与者被要求查看图片时操作在不同的意图,和经典的支持向量机算法被用来推断出参与者的关注。然而,这种方法显示分类精度低由于重大inter-individual方差和心理因素潜在的意图。因此,单独使用眼动不足以推断出人类的关注。
萍魏提出了概率统计方法来推断人类注意第三人称的观点基于共同的潜在意图建模的注意,意图,和交互31日]。注意推理的模型的联合优化潜在的意图。本文采用EA-based方法学习潜在的意图和模型参数。给定一个视频与人类的骨骼,联合政府中动态规划算法是用来推断的关注方向。
上面的方法关注定义为关注对象的过程。Zhixiong南提出了一个模型来推断该主页,inside-image人类关注(3]。它定义了人类注意注意力对象配合人类的任务做,表明人类完成任务通过几个子任务在一定时间顺序记住一个任务(32]。这个文字使用一个模型,集成了低级可见人体姿势线索和高级隐形任务编码信息来推断人类关注在一个虚拟的视频。
摘要eaCamera利用视觉注意力的方法来实现注意力集中分析系统。我们主要遵循该分支来评估学生的集中状态基于高层行为特征(33]。然而,在实现中,我们不标签集中行为和抽象行为。集中分析模型有两个视角提出了自动识别注意力集中的状态。
2.3。共同关注
两人共同注意力是一种行为,专注于一个对象或事件相互作用。这是一种早期社会和交际行为(34]。共同关注涉及共享一个共同关注的东西(比如其他人,对象、概念或事件)与别人。它需要获得的能力、维护和转移注意力。例如,父母和孩子都看一个玩具玩或观察火车经过。共同注意力(也称为“共同关注”)可能获得通过使用眼神交流,手势(例如,使用食指指向),和声音,包括口语词汇(例如“看那边”)。
在认知计算和人工智能,joint-attention-related方法用于构建人机交互系统。华莱士劳森共同注意力机制引入机器人系统基于这样一个假设,当机器人与人类共同关注合作者(35),他们被视为更有能力和更多的社会互动36]。他们提出了一个共同注意力估计量,创造了许多可能的候选人共同关注和选择最可能的对象基于人类队友的手线索。人类的注意力对象发现基于视觉注意力的方法。
某些文献使用共同注意力机制来实现多角度视频分析系统。朝晖杨挑战cross-view视频co-analysis和交付基于一种新的学习方法,在“共同关注”作为核心概念,表明共享关注区域链接相应的视图(37]。
EaCamera利用共同注意力来评估学生的集中状态,即组织的角度在注意力集中模式。当我们不能确定浓度状态基于个人行为变化,状态决定根据集团的方式,基于共同注意力理论。
2.4。深度学习模型
随着计算机视觉和深度学习的发展,越来越多的深度学习模型提出了解释图像和视频。这些深度学习模型的主要任务包括分类、目标检测、分割、动作识别,等等。对象检测和面部具有里程碑意义的检测中两个基本任务eaCamera捕捉学生的行为特点。
对象检测,一个最基本的和具有挑战性的问题在计算机视觉中,试图找到对象实例从许多预定义的类别在自然图像(38]。近年来,大量的深度学习模型提出了应对任务,Fast-RCNN [39有人知道由罗[],40],RetinaNet [41],CornerNet [42),等等。在eaCamera,我们选择yolov3实现目标检测模块由于其简单和高性能。
面部具有里程碑意义的检测预测置信面部里程碑点的位置在面部组件和面部轮廓捕捉刚性和非刚性的面部变形由于头部动作和面部表情43]。大量的工作在这个问题上已经完成自动检测面部关键点。丹(44是检测模块用于实现面部地标。EaCamera使用面部关键点来估计头部姿势和情绪,这些键来确定学生的行为。
3所示。系统架构
EaCamera是一个注意力集中分析系统部署在一所小学自动获得浓度持续时间的学生每个学生的课堂时间和生成分析报告,并提供建议教师在教育改进。本节说明了系统架构和数据处理管道向eaCamera一般视图。
eaCamera遵循系统化的体系结构的体系结构方法的云边缘组合(参见图1),掩盖了部分eaCamera的主要模块。
边的基本硬件方面包括监控摄像头负责录制视频和主机硬件视频处理:CPU、内存和网络。在边缘端系统是一个Linux操作系统,配置了一个视频处理器模块处理视频图像,简历模块来处理图像,和行为分析模块分析学生的注意力集中。同时,边缘方面与云数据发送模块,负责把学生的注意力集中的时间序列数据状态到云。
云的基本硬件主机硬件:CPU、网络和数据库模块负责数据的长期存储和查询。系统在云身边也是一个Linux操作系统,配置了一个数据接收模块接收数据的边缘。同时,该模块还负责生成一个注意力从数据传输分析报告从边缘或数据库中的数据显示的前端模块。用户可以灵活操作前端模块的工作模式eaCamera查看分析报告关注他们想要看到的。
eaCamera有两种工作模式,即主动模式和被动模式。在主动模式下,优势一方将扫描本地存储。如果找到一个未加工的视频,视频将被发送到视频处理器模块,简历模块,和行为分析模块生成浓度状态数据和发送到云实时创建一个报告。视频将优先保存在本地存储在边缘端被动模式。当用户调用过程命令在云的前端页面,生成所需的视频处理浓度状态数据,它将被发送到云创建一个报告。主动模式提供了快速访问结果,因为视频实时处理和发送到云。但是,它会消耗更多的资源。被动模式节省了资源和金钱,但它不能提供网上查询服务,用户必须等到生成报告。
在两种模式下,处理视频的管道(见图是一样的2)。管道主要包括视频处理器,计算机视觉模块、行为分析模块、前端。每个模块的功能和处理过程如下所示。(1)视频处理器。长期服务优势方面,负责流媒体视频图像。电子阅读器使用参数,取样器的频率,控制输出的帧图像流来提高处理速度。我们把12帧作为默认设置。(2)计算机视觉模块。简历中有三个功能模块:面对探测器,id分配人,并具有里程碑意义的探测器。面对探测器画了一个绑定框每个学生在所有图像生成的电子阅读器。Id分配人给每个学生一个Id的所有图片和维护作业。最后,具有里程碑意义的检测器生成面部关键点根据有限的地区。(3)行为分析模块。行为分析模块的责任认识到注意力集中行为。该模块包括两个部分,即个体特性分析和葫芦特性分析仪,从两个角度提取注意力特征。所有功能结合后,发现每个学生的注意力集中状况。(4)前端。一个基于web的用户应用程序,用户提供了教室的一个查询或学生的名字获取注意力集中分析报告。此外,假设被动工作模式设置。在这种情况下,用户可以根据查询条件安排分析任务在前端,和系统生成的报告时通知用户。在图2,标志着组件Id分配人、个人特性分析仪,和组特性分析仪eaCamera的关键模块。这部小说本文提出的模型和算法是有效地分析学生的注意力集中的状态。
4所示。注意力集中分析
注意力集中分析描述人类浓度状态在特定的时间。让我们考虑浓度状态随着时间序列。我们可以解释学生浓度状态在讲座期间,评估他们的学习表现,并提出为教师改进教学方法的建议。本节的重点是id分配算法,行为捕获模型,注意力集中分析模型用于eaCamera建立注意力集中分析系统。
4.1。Id分配算法
如果我们把人脸检测器和Id指定人的功能,它是一个对象跟踪系统(45),我们试图跟踪所有的人在视频和为每个人分配一个惟一的id。注意到,当我们处理一个视频,我们处理的序列图像,,很难保持相同的id相同的人在所有的图像,这被定义为一个id转换问题。征服id分配任务时,可以使用两种策略,人脸识别和图像相似性的方法。在人脸识别中,每个人的特点需要提前收集。图像处理时,我们知道他们是谁,和相关的id是他们的个人信息,如姓名和性别。图像相似性的方法,切碎的从不同的视频帧图像进行了比较。如果两幅图像的相似度高于一个用户定义的阈值,我们说两个切图像被分配相同的id。深层神经网络可以获得图像的相似性和特性。然而,两种方法都不适合eaCamera原因如下:(1)人脸识别需要收集个人面部信息,导致隐私问题和需要大量的劳动力;(2)图像相似性耗时由于神经网络特征提取和相似性比较神经网络需要提前训练和切碎的图像需要标记。
我们运用基于位置的id分配策略基于假设学生的座位是相对固定在教室里。图3显示了一个示例9 id分配和算法1显示了id分配算法。id分配过程如下所示:(1)。图像从一个视频,照片和数量最大化的边界框(1号线发现算法1)。(2)边界框是重塑的最大大小有界框内的图像(2行算法1),重塑有界盒被指示为标准盒具有独特的id。在图3,虚线矩形有界盒产生的检测器,实线是标准的盒子。标准框的id设置为(x, y),这是一对图像中的坐标。(3)剩下的图片,每个有界框指定的id是最接近标准的有界框。根据相似性测量intersection-over-union(借据)函数显示为方程(1),一个盒子和一个标准表明有界框的面积和标准框,分别。
|
4.2。行为特征模型
评估学生的注意力集中状态,eaCamera提取注意力功能基于学生的行为。注意到,学生坐在教室里大部分的课堂时间。因此,一般的行为像坐着,写作和阅读是不适合注意力集中分析。除此之外,一般的行为是连续动作,开始和结束时间估计在视频通过行动定位技术(46]。可能是短暂的,然而,抽象行为和行动定位技术在这种情况下可能会失败。
EaCamera定义学生的行为特性基于他们的情感和头部姿势。图4显示了一个具有里程碑意义的探测器的输出示例。注意到,例子是切碎的面部图像根据Id分配算法。具有里程碑意义的探测器给68每个面部图像关键点。我们只考虑六个关键点描述行为特性。六个关键点的左眼,右眼,鼻子,左脸颊,右脸颊,下巴,分别点表示为一组P= {(x埃尔y埃尔),(x呃,y呃),(xn,yn),(xcl,ycl),(xcr,ycr),(xc,yc)}。根据算法的行为特征提取2。
|
在算法2距离向量,给出了功能V= {d埃尔,d呃,dcl,dcr,dc},d埃尔提出了左眼点和鼻子之间的距离。距离计算欧几里得距离显示为方程(2)。我们使用基于距离的特性而不是应用特性有以下原因:(1)。它是高效获取所有面部图像特征。有超过50名学生在教室里,我们需要收集每个人的行为特性。因此,行为特征模型需要高效和简单。(2)基于距离的行为特征描述头部姿势和情感。头部姿势是必不可少的在教室里描述浓度状态以来大部分时间,学生关注老师和黑板。我们的eaCamera安装在教室的前面。因此,距离是对称的,如果学生看着前面。然而,如果距离是不对称的,我们说学生是看向左或向右偏移。(3)因为我们考虑之间的距离眼睛和鼻子和脸颊和鼻子之间的距离,行为,例如降低一个人的脑袋和提高一个可以找到的头。
4.3。注意力集中分析模型
行为特征模型可以找到头部姿势变化和情感变化。然而,这是不够的自动分析注意力集中状态,因为我们需要指出浓度手动和抽象行为。也就是说,我们必须标签数据。因此,我们提出一个注意力集中分析模型识别concentration-related行为。在eaCamera,注意力集中在两个角度进行描述,即个人和集团角度基于以下假设:
4.3.1。个人的角度
学生的注意力集中在讲座期间状态更改。然而,小学生注意讲座内容大部分时间。因此,我们试图观察学生的行为特点,变化和注意力集中的状态可以从个体角度拍摄。此外,小学生总是集中在演讲的开始或老师的指令。图5个人注意力的浓度变化,显示了一个示例的抽象行为被发现在所有帧中的异常值的行为特性。
4.3.2。集团的角度
教学是一组活动。当大多数学生注意讲座内容,它们有相同的行动模式,这表明学生的注意力集中的状态。因为大多数的学生关注讲座内容在小学,我们使用这个nonconcentrated字符识别异常值。图6展示了一个示例组注意力集中状态比较。在图中,老师示范讲座内容。少数学生没有看老师但集中在书桌或教科书,可以被认为是抽象状态因为他们所有学生中的异常值。
根据演讲内容,对象,学生注意,讲座期间变化。目标可以是老师,黑板,教科书等等。个人角度模型只捕捉学生的行为会随着时间而改变,并且不能捕获讲座内容更改引起的行为变化。因此,组角度模型决定了注意力集中状态,如果一个学生的行为特性会发生变化。
在个人角度模型中,第一步是获取注意力集中功能基线。我们假设主要的学生集中在演讲的开始或初老师的指令。方程(3)显示了一个学生的基线特征矩阵,由1440年的行为特征向量。基线特征矩阵提取类的前2分钟,总共包括120秒,12帧每秒。根据中国的课堂习惯,老师会说一些重要的前两分钟。我们可以认为,学生的注意力状态是最集中在第一个2分钟的类,这是最准确的比较学生的状态在第一随访2分钟。同时,根据我们的计算方法,1440年将从数据生成特征向量2分钟,这没有计算的数据量压力边机。
基线向量得到以下步骤:(1)的频率图完成特征矩阵中每一行。(2)选择与最大频率的数据。(3)计算组数据的平均值作为基准的一部分。图7图显示了一个示例的频率 。类间隔设置为0.5。大多数之间的距离是1.0厘米和1.5厘米。让我们说,平均值是1.2厘米。然后,我们组 。使用相同的策略,我们可以获得一个标准的基线向量呈现学生注意力集中的状态,表示 。
在短时间内,教学对象是相同的。评估注意力集中状态,我们只比较当前学生的行为特性注意力集中的基线 。之间的距离,抵消,获得两个特性根据方程(4)。当 ,我们说,学生集中,是预定义的参数出现在浓度宽容。
学生关注的对象根据教学内容的变化。它会导致注意力集中基线的变化,这使得个人角度模型失败。介绍了集团的角度模型来解决这个问题。在个人角度模型中,如果当前行为之间的偏移特性和标准功能高于 ,学生可能在抽象状态或仍在浓度状态与另一个注意的对象。因此,我们观察他人来决定学生是否仍然集中。
在个人角度模型中,当检测到一个抽象的状态,即 ,然后我们使用集团的角度模型检测对象改变注意力。组中的透视模型,评价一个学生的注意力集中状态中完成以下步骤:(1)。对于所有的学生,我们计算偏移量矩阵G显示为方程(5),为学生提供了补偿每一行在2秒(每秒12帧)。(2)使用作为一个阈值二值化矩阵的计算G,表示Gb。(3)总结每一列的Gb表示,集团指标,这表明学生的注意力集中的数量改变。(4)因为大多数的主要集中在课堂上,学生如果有超过一半的学生注意力集中状态更改,我们说改变目前的注意的对象。在这种情况下,浓度标准基线为所有学生都重新计算。(5)否则,我们说学生在抽象状态。
5。案件结果
辽宁省EaCamera部署在一所小学,中国。在学校,每个班级有40名学生,讲座的时间通常是40分钟。在eaCamera,我们选择技术发展水平深度学习模型来实现探测器和具有里程碑意义的探测器。面对探测器实现基于YoloV3 [47]和ArcFace [48,具有里程碑意义的探测器实现基于丹(44]。在本节中,我们首先简要介绍我们使用网络的结构,然后我们注意力集中展示分析结果为每个组件。
eaCamera的计算主要是在优势方面,我们选择了一些轻量级的网络在保证精度的前提下实现。(我)YoloV3: Yolo3采用一种叫做darknet-53网络结构(包括卷积53层)。它借鉴实践残余网络,设置快一些层之间的联系,形成一个更深层次的网络级和多尺度检测,提高了检测的影响意味着平均精度(mAP)和小物体47]。(2)ArcFace: ArcFace是一种新的人脸识别基于损失函数添加剂角保证金的损失。它的重点是直接最大化分类边界角空间(48]。(3)丹:丹是基于AlexNet网络,探讨了适应源和目标之间的关系。代表深转移学习方法,它充分利用深层网络的可转让的特点,然后介绍了最大平均差异(MMD)在统计学习,已取得了良好的准确性(44]。
图8显示了人脸检测器的结果。红色框是有界框每个学生的脸,而且这个数字还为检测面部对象模型的信心。图9显示了具有里程碑意义的检测器的结果和关键过滤器。注意到,在面对探测器,id为每一个有界框指定人提供一个惟一的id。然而,面对探测器可能无法产生一个有界框在某些学生。在这种情况下,id分配人忽略了这些id,这表明学生分配一个抽象的标签在这个框架。
数据10和11显示集中行为和抽象行为的例子。在图10,学生跟着老师的指令。当老师要求学生阅读教科书,学生盯着她的头,注意到它。当老师要求看黑板,学生提高她的头。在图11,学生乙的行为是不利的。因此,我们说她是抽象的。
在前端模块,eaCamera选择课堂的生成统计报告。为了简化描述,我们只显示18个学生的结果,其id分配从数字1到18岁。注意到,一个学生id较低表明他的位置更靠近黑板,老师。
数据12和13显示,集中时间和相应的统计报告。从图可以看出12,除了个别例子,增加注意力集中时间减少为ID。这表明学生到黑板上越近,就越集中在课堂上,这是符合现实。越接近老师的学生,他们可能更害怕被分心。在图13,三分之二的学生的注意力集中时间是30 - 40分钟。上课的时间是45分钟,也就是说,大多数小学生的注意力集中在课堂时间,这是与我们的假设一致。
EaCamera可以根据用户需求提供分析报告或用户定义的脚本。用户可以生成相应的报告查看根据他们自己的需要。例如,用户可以查看分析报告在某一天甚至一个定制的时期,所有人的注意力集中分析报告在一个类,或者每个类的平均注意力持续时间不同的课程。通过不同的选择,用户可以执行不同的目标分析。图14显示了压缩之间的平均浓度持续时间不同的讲座,即英语、中国文学和数学。结果表明,学生可能会更加注重数学课程考虑到试题的难度和它的重要性。使用不同的分析报告,老师可能会改变或改善他们的教学方法来获得更好的性能。
6。讨论
在本节中,我们与其他区域的研究,分析比较eaCamera eaCamera的优点和缺点。
传统上,学生的注意力集中状况是人类观察员手动收集。随着科学技术的发展,提出了越来越多的关注检测方法:(我)研究1:Sujan Poudyal使用图像处理技术提取特征的学生从监控系统采集的数据,并使用三种数据挖掘方法(支持向量机、决策树和资讯将学生的注意力模式(49]。(2)研究2:鑫张提议可穿戴设备可用于分析学生在课堂上注意力状态。系统集成了头部运动模块,笔运动模块,视觉焦点模块准确地分析学生的注意力水平类(50]。(3)研究3:Shimeng彭已经开发出了一种关注感知系统(AAS)的基于脑电图(EEG)信号准确地识别学生的注意力水平,具有较高的应用潜力,可以提供在线教师及时预警的注意力水平低反馈在电子学习环境51]。
我们比较eaCamera与上述三个研究的功能,成本,和使用方法(见表1)。研究1使用传统方法如数据挖掘分析数据从相机捕获。它的功能是相对简单的。它只能分析关注学生的状态,但它不是实时的,和不支持的生成和长期存储的数据报告;研究2和3,分别使用可穿戴设备和脑波分析设备监视学生在课堂上注意力状态实时,可以提供实时报警。方法新颖,但与相机相比,他们的设备的成本是非常高的。EaCamera采用边计算的方法,主要功能是设置在优势方面,和硬件只需要相机。它使用新方法如简历意识到关注的功能检测。与此同时,由于云计算方面,我们的研究可以实现数据的长期存储,以便促进长期的比较分析和定制分析报告。可以看出eaCamera使用新方法来完成更全面的功能以更低的成本。 However, eaCamera does not support the real-time warning function, which is also the further work of eaCamera.
7所示。结论
我们提出一个新颖的边缘注意分析情报系统,eaCamera,在这个案例研究中,部署在一所小学在中国评估学生的注意力集中在讲座期间状态。EaCamera收集的视频讲座和利用深度学习模型来提取学生的行为特征。之后,一个注意力集中处理的特性分析模型提出了自动捕捉学生的集中和抽象行为。
在eaCamera,我们主要关注三个模块。(1)Id分配算法用于分配一个惟一的Id在同一个学生讲座。分配id保持相同的id为同一个人在一个视频显示每个学生的身份。(2)采用行为特征模型来生成每个学生的行为特征向量一个视频帧。一个行为特性是一个向量,其中包含面部关键点之间的距离。(3)注意力集中分析模型,提出了能够抓住学生的注意力集中的状态。基于以上三个模块,我们实现一个注意力集中分析智能系统,它不仅为研究提供一定的参考价值的关注集中检测,也促进了科学技术在教育中的应用环境。同时,该系统还做出一定贡献的研究优势智能复杂系统。
EaCamera可用于封闭multi-people空间分析用户的注意力状态根据两个方面,即个人和集团角度。个人角度捕捉行为特性变化随着时间的推移,和组角度捕捉异常值在一群人的行为特性。EaCamera依赖于假设大多数人在一群集中。因此,eaCamera不能工作在某些环境中,没有上面的假设。此外,eaCamera回答计算机视觉技术,即,其抗干扰能力是有限的。如果面临被屏蔽,那么eaCemear不能生成正确的分析。在进一步的工作中,我们想要扩大eaCamera的使用场景,例如,潜水员通知系统,工厂监控系统,监控系统,司机监控系统,监控系统和医院操作。eaCamera为了提高现有的不足之处,我们可以扩大认可范围eaCamera在未来,认识到注意力集中的国家根据人类行为,并做出一定的贡献,行人在自动驾驶行为识别和其他场景。在当前实现中,采用facial-based行为特征模型考虑讲座和小学字符。小说的行为特征模型需要在行为特征在不同的场景中进行进一步的处理。
数据可用性
没有数据被用来支持本研究。
的利益冲突
作者宣称没有利益冲突。