光学鼠标传感器眨眼检测和瞳孔跟踪:在低成本Eye-Controlled定位设备中的应用

文摘

本文提出了一种新的光学鼠标传感器的应用。光学鼠标作为主要低成本红外视觉系统的新提议的头盔人机交互(HCI)设备由眼球运动控制。默认的光学鼠标传感器镜头和照明源取代以改善其眼睛的视野和捕获整个图像。互补的8位微控制器用于获取和处理这些图像与两种优化算法来检测迫使眨眼和瞳孔位移转换成电脑指针操作。这个提议引入了一个便宜的,平易近人的即插即用(PnP)设备有严重残疾的人在上肢,颈部和头部。提出了定位设备执行标准电脑鼠标操作,而不需要任何额外的软件。它使用人机界面设备(藏)标准类的通用串行总线(USB)增加大多数计算机平台的兼容性。这种新设备的方法旨在提高舒适和当前商业的可移植性与简单的安装和校准设备。我们做了一些性能测试与不同的志愿者用户获得平均瞳孔检测误差0.34像素,成功检测82.6%的鼠标事件请求通过瞳孔跟踪。

1。介绍

如今,最广泛使用的人机交互图形指针是流离失所的在屏幕上的显示外围。屏幕指针通常是使用标准的设备,如电脑控制的老鼠,触摸板、操纵杆、笔、或触觉屏幕面板。所有的这些需要一些物理交互移动用户的身体的四肢像手指、手或前臂正常运转。提出了几个方案让人行动困难的上肢控制电脑的指针。这些主要是基于检测和测量等剩下的身体动作的面部动作(1,2),嘴运动(3,4),头部动作(5- - - - - -8],眼动跟踪[9,10),标签跟踪(11,12,呼吸13,14),舌头位移(15),或它们的组合16]。然而,有这样的严重残疾的人,他们不能移动任何肢体,颈部,或头,只能与电脑设备使用他们的眼睛,眉毛,舌头,嘴,呼吸,或大脑活动17- - - - - -19]。商业设备实现包容这些人的通讯技术(ict)是可用的,尽管他们中的大多数有关软件兼容性有几个缺点,限制在计算机交互中,和复杂的配置和标定;或者是高度侵入而不是负担得起的由于其复杂性和较低的潜在市场。

关注eye-controlled设备,它们可以被分为两个主要团体:远程和头盔。远程设备主要是基于不同的眼睛凝视算法应用到图像通过一个固定的高分辨率相机,通常连接到电脑屏幕上(2,5,6,9,20.]。远程学生的目光设备市场上的例子(21- - - - - -24)这是昂贵的(> 6000美元)由于高分辨率相机,镜头,专用照明系统成本。头戴设备大多是基于一个自定义结构举办一个小型的低分辨率摄像头在用户的面前10,25- - - - - -27]。他们不太昂贵的但不是低成本(28- - - - - -30.(> 2000美元),因为相机的质量和定制软件。

几个戴眼球追踪设备提出了在文献中。在[25),三个摄像头和一个外部计算机用于同时跟踪眼睛和头盔的相对取向结构。它使用一个非常复杂的硬件检测学生由一个简单的红外图像灰度分割。在[26),两个迷你相机和两个中型加工板用于同时跟踪学生和用户的视图,允许一个绝对指针控制在电脑屏幕上。虽然提出了使用廉价的现成的组件和一组开源软件,安装复杂,因为多个部分。最近,卡塞雷斯et al。10]提出使用头盔商业眼动跟踪和修改摄像头开发廉价的眼睛指针,获得一个成功的用户评价。然而,它需要一个精确的红外线灯的安装屏幕的角落。一个新的低成本替代的眼睛凝视头戴设备在显示报告(27]。这个提议眼睛凝视精度可以达到0.53°,但需要在显示用户的视图的质量退化和减少其字段。

在这项工作中,新提议的一个便宜的人机eye-controlled定点设备基础上提出了一种低成本的光电鼠标传感器(图1)。这种贡献的主要目的是提出设备成本(~ 20美元),较当前商业眼球追踪devices-e.g最实惠。,学生实验室学生核心,1850美元(31日];Tobii PCEye迷你,1149美元(32];或Tobii Pro眼镜II, 10000美元(33]。这是可能的,因为新提议使用相同的组件的一个共同的商业光电鼠标。同样,它避免了高分辨率相机和需要额外的硬件部分,像[21- - - - - -30.]。它是一个轻量级(41 g)可穿戴设备即插即用(PnP)和不需要额外的软件完全兼容(MacOS Windows, Linux, Android,等等),使用人性化界面设备(藏)标准类的通用串行总线(USB)。

光学鼠标传感器,最初作为电脑鼠标的主要设计的传感器,被广泛使用在许多情况下估计下表面的相对位移传感器(34- - - - - -38]。在[38),它是用来估计眼睛的翻译分析巩膜的表面。27.8和18.2的水平和垂直角分辨率每度得到计数;然而,眨眼排除使用眼睛的目光。此外,许多研究工作提出了使用光学传感器开放获取内部形象开发替代廉价的应用,如伪造的硬币探测器(39),氧气和pH值量词(40),纱线直径米(41),和旋转编码器42,43]。我们的以前的工作44]分析了这些传感器的功能对眼睛跟踪、检测学生的最黑暗的红外图像获得的一部分。一个定制的山谷Daugman提出的检测方法和著名的积分微分的运营商(45,46测试来检测学生。结果表明,两种算法允许跟踪学生的平均误差0.58像素;然而,硅谷检测方法需要减少90%的内存和速度更快,因为它不使用三角函数。

从我们以前的工作基础上成功的结果44),这项工作提出了光学鼠标传感器的使用作为一种廉价的成像系统探测眨眼和运动和验证正确执行基本的指针操作的响应率。这样做,一个基本的8位微控制器用于捕获和转化学生位移和眼睛眨眼常见的电脑鼠标操作(点击指针位移,双点击)。定制的瞳孔检测方法提出了我们之前的工作已经增强,增加其鲁棒性。为此,新的限制定义和调整提出了最优值设置。此外,过程检测迫使眨眼已经实现,用作补充交互输入。

2。传感器

2.1。光学鼠标传感器

这项工作中使用的光纤流量传感器从安华高科技与- 3080 (47]。这个传感器的使用被称为光学鼠标位移传感器和它有很多有趣的特性的方法。这是一个低成本的小型传感器基于金属氧化物半导体(CMOS)矩阵 灰度像素的4比特强度高度敏感的近红外波长,经常用于瞳孔位置和虹膜识别(48,49]。CMOS补充与数字信号处理器(DSP),集成在同一芯片(图2)。虽然实现了一个专有的光流算法的位移测量,它包括一个额外的功能叫做PIXEL_GRAB允许访问当前表面图像(帧)。冻,可以在任何异步读取率逐像素通过一个标准的串行外围接口(SPI)总线。因此,图像采集的串行外围接口(SPI),一个非常小的数组的存储 像素(900字节),其处理低档次的瞳孔跟踪可以实现单片机设备尽可能便宜。

光学传感器最初开发获得小的表面粗糙度的变化在很短的焦距和减少区域。一般来说,传感器包加上聚碳酸酯塑料凸透镜系统(图3(一个))提供一个适当的红外照明和正确操作的视野。镜头和推荐使用默认由制造商定义的工作高度为2.4毫米,传感器可以测量二维位移分辨率高达800项每英寸(cpi)。使用这种配置,工作区域被传感器非常减少(1.82毫米²)[43]。

2.2。镜头和光源

达到这个工作的目标,默认的光学和照明源代替了为了增加捕获面积和工作距离。镜头使用CAY46低成本塑料非球面透镜从激光器组件50)有一个合适的4.6毫米的焦距。这个镜头的使用允许捕捉本质上所有学生运动工作40和100毫米之间的距离,获得瞳孔直径5至15像素(44];因此,它可以适合头戴设备按计划进行。

外部光源替代了高辐射强度sfh - 4350近红外(NIR)发光二极管(LED)从欧司朗51)为了获得统一的光领域的观点,强调学生最黑暗的形象的一部分。它有一个3毫米(T1)透明的塑料包,峰值波长850 nm, 26°的视角。其典型操作生成一个辐射通量的50兆瓦的正向电流100毫安。根据EN 62471:2008 [52欧洲标准,眼睛表面获得的辐照度是7.76 W·m²辐射是899.13千瓦·m²·老¹不到的极限,视网膜热风险( )和眼睛辐射危害( ),分别。因此,提出了红外发射器设置应该是安全的。

图3显示了传感器和两个不同的镜头:默认的镜头套件(与- 2120 - 001 (53从安华高科技)和CA46镜头。1.5毫米的象棋模板²广场被使用的配置。在第一种情况下(图3(一个)),它使用默认的光源和默认工作2.4毫米的高度。在修改后的设置(图3 (b)),光源来自领导的超高频4350使用一个最佳聚焦传感器和模板之间的距离60毫米。因此,传感器的捕获区域增加从1.82毫米²到21.6毫米²这被认为是适合捕捉学生位移时盯着电脑屏幕。

3所示。瞳孔跟踪

有几个著名的瞳孔检测算法在文献中。一年的使用最广泛的是Daugman[提出的积分微分的运算符45,46)广泛应用于瞳孔定位在虹膜识别应用程序(48,49]。它假设学生已经圆轮廓和操作作为一个圆形边缘检测器。另一个众所周知的方法来定位瞳孔和虹膜,王尔德推出了54),这是基于椭圆变成edge-filtered搜索图像使用霍夫变换[55- - - - - -57]。此外,还有传统的健壮的瞳孔检测方法,结合不同的图像处理技术作为边缘探测器、形态学操作,轮廓提取、阈值拟合,异色边缘椭圆拟合等等。最重要的是亮光的58],Swirski [59),学生实验室(60),(61年],借口[62年),和其他(63年]。深入讨论这些方法的头戴眼睛追踪器可以在[64年]。这些强大的算法并不适合我们的提出的设备由于其有限的资源。一方面,采集传感器的限制与图像分辨率很低( 像素)和低灰度强度(6位)。大部分的形态搜索算法需要更好的捕捉。另一方面,DSP的局限性包括很小的内存大小(3.7 kb),低的处理器性能(48 MHz),和缓慢的图像采集(71.2 ms)。执行浮点三角和形态学操作不可行的维护可接受的帧速率为我们的应用程序。例如,最近的健壮的瞳孔检测方法,纯粹65年),平均执行时间为5.56 ms使用Intel®核心™i5 - 4590 CPU @ 3.30 GHz。只有处理器频率,减少我们的频率(48 MHz),执行时间按比例增加到382.25(2.6赫兹)女士已不适合快速瞳孔注视跟踪。

检测学生,这项工作提出了一种适应的定制优化学生检测算法中引入我们的以前的工作44),有一个类似的检测误差比积分微分的方法改善内存大小和执行时间。考虑到学生是最黑暗的部分图像,该算法使用一个简单的谷位置检测学生重心。因此,它可以分析独立行,行没有任何额外的辅助图像缓冲区或嵌套像素级搜索。算法是基于三个图像处理步骤:(1)高光去除,图像过滤,光滑的反射近红外LED使用;2)强度山谷的位置,为每一行可能谷发现学生与特定的约束;3)学生质心估计,山谷被用来确定瞳孔的中心存在于图像。下面的内容将出现新变化从以前的算法和细节提出了系统中使用的三个主要顺序步骤。最后一个小节,描述了最优算法hyperparameter值用于这项工作。

3.1。算法升级

提出的算法(44]在最后两个步骤增强以提高其鲁棒性。在山谷的情况下检测步骤中,前面的方法检测谷限制(谷边界)当连续像素之间的差异减少/增加超过/左和右的阈值,分别和山谷的长度比 。在这个新方法,山谷的限制是通过检查山谷之间,必须由高度和 ,现在硅谷长度必须包含的范围和 。在这种方法中,像素的强度谷总是必须相等或增长的关于你的邻居为了避免内部强度峰值。此外,定义了三个条件: , ,和MNP。的的最低强度连续两个像素之间的区别是这个山谷。这个条件保证谷有一个突然上升。MNP的山谷内的最小数量的像素的差异绝对最低达到 。这个条件是旨在帮助山谷的凹度差的排斥和保证大部分的山谷像素属于学生强度值。

的瞳孔质心估计步骤,而不是选择附近的山谷,有限制的最大窗口积累3 (44),该方法选择包含连续的最大数量的山谷山谷连续极限点的差异(谷边界),左和右,都是小于一个阈值, ,和最大区别都是低于阈值 。的条件允许检测连续光滑的圆形瞳孔边缘丢弃水平谷限制峰值或垂直不连续。的条件可以确保一个有效的畸变的学生由于其球形位移。此外,在这个新方法,山谷的数量选择之间和(垂直瞳孔长度)。一旦选择组山谷,瞳孔质心的计算是通过同样的方式与前面的方法,平均的坐标选定的山谷的极限。如果超过一组的山谷满足条件,选择最黑暗的平均价值。

3.2。高光去除

在获得图像,眼睛结膜粘膜产生近红外LED的光反射。以防反射定位到瞳孔区域,瞳孔中心的检测可能是不准确的。在当前图像平滑高亮显示的像素(方程(1)执行一个过滤器。

首先,定义一个强度阈值,(方程(2)),抛弃像素值小于80%的最大值。

然后,下面的空间像素的中值滤波器应用开始 如方程所示(3)。

图4显示了一个示例过滤结果的两种情况下:(a)当反射光在瞳孔区和(b)当反射光的瞳孔边缘。在第二种情况下,结果并不像预期的那样顺利,由于过滤像素平均瞳孔和虹膜区域。

3.3。强度山谷的位置

对于每一行, ,一个强度谷执行搜索来找到最好的谷可学生的一部分。首先,对于每一行,当地最低强度的位置像素位于通过搜索局部峰值强度(方程(4))。 包含列位置行在它开始左右像素强度的斜率。然后,计算列的位置绝对最低使用方程(5)。

从绝对最低的像素, ,下一步是找到左( )和正确的( )限制(谷边界),一个可能的山谷组成的,使用中定义的条件方程(6)和(7),分别。的和限制一定的最远的像素满足(一)从最小像素强度总是增加( )的限制( , )(b)其中一个增量必须大于(c)谷(左和右)必须高度之间和

然后检查山谷属于瞳孔区域,它需要至少有到其地区之间(MNP像素和 )关于最小的强度,( ),低于(方程(8))。

最后,谷长度必须包含一个有效的学生范围内直径之间和阈值(方程(9))。

如果没有山谷发现提出的限制,行作为一个学生部分将被自动拒绝。图5显示了一个示例的强度为15谷位置^th行图像如图6。找到一个山谷从列12到19。这项工作中使用的阈值 。这些值根据获得的结果在表计算1。

3.4。学生质心估计

一旦检测到山谷的限制,有必要找到瞳孔区域的候选人。为每一行 (谷发现),该算法搜索可能的瞳孔区域完成较低的行( )满足方程的限制(10)。该地区是由一组有效的邻谷(连续图像中的行)之间的长度和(学生身高),邻谷之间的差异限制(连续行),左和右,必须小于 。最后,极限点的最大区别,两种左右,必须等于或小于 。

如果有一个学生候选人行 ,它的参数计算使用方程(11)。左边界坐标, ,是所有的左极限的平均值由山谷,和右边界坐标, ,是所有权利限制的平均值。然后,学生的重心( , )计算平均左右边界坐标和平均上下山谷行(和 )。最后,所有像素的平均强度瞳孔边界框, ,计算。

如果有多个候选人,这些结果( , ,和 )存储在向量 , 和 ,分别。然后,因为学生总是最黑暗的部分图像,最后学生区域选择一个最低的平均强度的颜色(方程(12))。

图6显示了一个示例的学生质心估计使用该算法。方形和圆形标志的谷点的极限和在上一步中获得。在这个例子中,只有一个学生候选人,因此最后学生之间组成 和 行。瞳孔质心估计 和 。这项工作中使用的阈值 和 。这些值根据获得的结果在表计算1。

3.5。Hyperparameter估计

为了获得系统最优hyperparameters,人工分析一组10的瞳孔图像(表8种不同的用户2)已经完成。光学鼠标传感器的图像是一个固定的距离在60毫米。瞳孔图像分析人工检查获取所有山谷(边界)的限制,其中包含的部分学生。然后,这些山谷数据被用来获得四谷特征(表1)和计算最优hyperparameter值(阈值)。四谷特征1)绝对强度连续像素之间的区别其平均和标准偏差是用来计算2)谷的高度,其最小和平均被用来获得和 ,分别3)谷的长度,其最小值和最大值被用来获得谷长度阈值(和 ),最后一个包含一个抵消30%的短距离传感器位置。同时,MNP阈值计算使用平均谷长度的一半,这意味着至少50%的谷的像素强度将如下4)像素强度差异绝对最低的山谷平均和标准偏差是用来计算考虑到所有山谷将至少有一个像素的区别与强度

共有80张图片进行分析之后的8种不同的学生,谷长度和高度标准差仍然很低考虑到学生像素的强度可以为每个用户不同,和硅谷长度是与学生紧密相关的圆形。像素强度差异绝对最低的山谷有更多的分散与平均水平,但仍是稳定可行的检测范围。

的阈值,用于学生重心估算步骤,计算使用谷长度限制在表获得1 。手动检查后,左翼和右翼的最大瞳孔边缘曲线之间的连续行是2像素,然后 。

4所示。眨眼检测

下有两个眨眼的研究中,自然和强制眨了眨眼。自然眨眼当用户关闭并打开眼睛迅速和无意识。这些闪烁会打扰学生跟踪估计和忽视。迫使眨眼,用户执行控制缓慢闪烁:闭上眼睛,等待一段时间,最后打开眼睛。许多研究人员提出的使用迫使眨眼作为人机交互输入源(2,5,6,66年- - - - - -74年]。他们中的大多数将图像处理技术应用于眼部区域图像流,如光流方法(2,66年),模板匹配(67年,68年),眼睛特征提取(69年),面部地标(70年),或多个伽柏响应波(71年]。当眼睛从一个头戴设备获得的图像反射近红外光线,最简单的方法可以应用有非常准确的结果72年- - - - - -74年]。这种情况下防止假阳性检测头部动作或不足造成的照明条件。在[72年],眨眼检测图像的差别。此方法需要一个开放的眼睛参考图像像(73年]眨眼的检测使用一个简单的直方图比较提出了眼睛的地区。一个成功的眨眼检测率为87%。

在这部作品中,眨眼检测到没有额外的图像处理,确定眼睛是根据学生是否打开或关闭位置,提出了(74年]。然后,闭着眼睛表示眨眼的时间类型,迫使眨眼,执行的行动。尽管该方法的准确性高根据瞳孔检测成功,它不需要任何额外的处理时间和低档次提出系统这是一个关键因素。

图7显示了非阻塞过程用于检测被迫通过open-close-open眨眼眼序列和执行操作根据其持续时间。的变量运行是用来知道眼睛是关闭。然后本地系统时间, ,更新每一毫秒,是用来计算花费的时间没有阻塞主线程(瞳孔检测和鼠标事件)。的触摸_n表明眼必须保持关闭的时间执行的行动 ,注意,触摸_n时间必须大于自然眨眼。的表明检测滞后时间和最后,验证迫使眨眼,最小运行时间(topen) close-open眼睛序列之间的需要。

眼睛是关闭时,睫毛填充图像的显著区域可能产生错误的瞳孔检测特定用户。大睫毛也主要干扰来源当用户往下看。硅谷瞳孔位置中定义的阈值约束算法避免这些假阳性。图8显示了一个迫使眨眼形象和它的瞳孔位置的结果,在黄色十字架为每一行的绝对极限。在这种情况下没有一组行,最低山谷,满足固定阈值;因此,该算法的结果是成功的。

图9捕获的图像显示了一个示例的一个序列在自然眨眼,固体和虚线红线在哪里发现山谷,红色实线检测瞳孔区域,绿松石蓝色星号表示位于学生重心。而自然闪烁时,可能有一个关键的时刻,当学生部分隐藏的上眼睑,创建一个瞳孔位置离群值(图9, )。由于自然闪烁速度快,图像采集率低(7.96帧/秒),这个缺点可以通过更新过滤位置只有在至少两个连续帧相同的结果。在框架 ,轻微的质心估计误差是由于眼睑阻塞而在 ,瞳孔是完全隐藏的,没有瞳孔的位置。根据提出的滤波器,结果被拒绝这两个位置。因此,估计位置保存的位置 。

5。定位设备

5.1。电子板

图10显示了单电子板为拟议中的定点设备开发的包括所有的电子部分嵌入在一个小的印刷电路板(PCB)。在底部,有一个低成本高性能8位单片机PIC18F46J50从微芯片75年)及其低压差稳压器(异地恋)3.3 V;顶部,侧面向用户的眼球,有光流传感器的外部陶瓷谐振器24 MHz,传感器的近红外LED光源,一个20 MHz低调的外部晶体微控制器的时钟,和表面贴装设备(SMD)按钮。还有两个连接器,一个用于单片机调试和flash编程,另一个用于USB通信和供电。最后,电子板有五个SMD led复制在双方为了通知设备状态并帮助用户和助理在最初的调整过程。

与- 3080连接通过SPI使用主微控制器的同步串行端口(MSSP)。整个框架可以传输和存储到3.7 kb的内部RAM 71.2 ms。然后,单片机执行瞳孔跟踪算法在接收到的帧平均时间为42.6毫秒。最后,内部USB 2.0全速硬件外围设备用于翻译瞳孔位置用户计算机操作通过USB HID标准通信类76年]。所有这些程序是重复的闭环采样率达到7.96帧/秒。尽管20 MHz时钟主要来源是外部石英晶体谐振器,单片机配置操作的一个内部锁相环路(锁相环),允许达到适当的48 MHz USB时钟。最后,超高频- 4350近红外发射器光源连接到单片机的PWM模块之一,允许一个精确的亮度调整。

董事会功耗在正常运行模式下,获取图像,处理,并生成鼠标事件,是555.42兆瓦(583.05 mW所有反馈led)。消费的主要来源是一个降压电阻器(291兆瓦),限制了超高频- 4350环境近红外光谱光功率在39.1千瓦(PWM的100%)。PIC18F46J50的功耗和与- 3080 129.42 mW和14.67 mW,分别。比较最近的功耗小眼球追踪(中提出的解决方案77年),在这个新提议估计功率范围从70兆瓦(5.25 W),使用一个覆盆子π3在低功耗模式下操作仅1 kHz。复杂的图像处理需求将增加功耗为系统提出了(78年]基于高性能32位单片机消耗QVGA 703.65 mW而获得图像完整率。

5.2。框架设计

设备的方法是一个自包含的头戴设备为了传感器固定在前面的允许学生跟踪用户在很短的距离。由于传感器是固定在头部,可能的振动来自头部,颈部,或身体是可以避免的。因此,一旦传感器定位只会捕捉眼睛的同一地区。此外,一个独立的系统也让它更舒适,而无需安装额外的外围设备,如摄像头,采集板,或光源,在不同位置的电线。

图11显示了框架设计提出了工作。它由一根棍子,一个小盒子的电子产品在用户的面前。这贴放在右边,举行用发带在右耳加入这有助于保持结构。结构还包含了一些促进传感器位置可调部分。它有5自由度(自由度):高度、长度、水平旋转棒,方位和仰角的盒子。这种方法只有10个塑料零件和一个非常简单的组装旨在使设备尽可能便宜。

图12显示了一个关闭的盒子(36.3×15.2×28.8毫米)电子板被放置的地方。有孔的框架增加前后led的亮度。外围位置,位置接近眼睛有助于理解领导通知没有停下来盯着屏幕。在右边的框,一个移动的圆柱形塑料零件设计来处理电子板的按钮。最后,槽内贴是用来隐藏来自盒子的USB电缆。

5.3。人机交互

设备的操作过程是由三个主要的操作状态(图13):最初的调整,用户必须正确位置并修复设备负责人;鼠标模拟,用户的眼部运动转换成电脑指针操作;和暂停阶段,所有交互功能被禁用自由移动的目光。之间的交互操作的流程图阶段呈现在图13。

一旦设备连接,由操作系统自动检测的指针被永久地在屏幕的中心和设备等待最初的调整。在这个阶段,用户必须坐好别动妥善持有设备的工作距离约60厘米,与眼睛水平对齐指针。设备然后等到它检测到一个学生中心的图像获得(±4像素补偿两轴)与有效直径(4 - 16像素)。四周边led提供定位传感器的反馈促进手工定心盒子。如果发现学生在一个方向上,例如在左边,红色LED的方向灯。闪烁的频率取决于检测瞳孔大小。如果没有闪烁这意味着瞳孔大小是在有效的范围。一旦学生到预期的区域出现预期的大小在5 s,当前位置的学生将存储作为参考位置 和绿色LED闪烁,表明调整阶段完成鼠标模拟阶段。这个最初的手工调整可能需要助理的帮助下,在一个用户的情况下受损的流动。在任何时候,设备可以通过持有重启按钮在6 s或强迫任何学生检测在超过6年代。

在鼠标模拟阶段,用户交互通过控制隐藏鼠标事件。瞳孔位移,并迫使眨眼动作翻译X和Y的相对运动和左和右点击。该系统实现了水平和垂直小瞳孔检测10.84和8.51像素的变化范围看194:3电脑屏幕TFT 60厘米的距离。这是一个重要的限制使用这个系统作为一个平常的眼动跟踪,因此relative-based电脑鼠标必须实现位移。在这个工作中,五个学生区域定义(左,右,上,下,和中心),看到方程(13)和图14。这些区域是一个相对足够的鼠标模拟,提高检测的鲁棒性。图14显示区域的表示在一个图像被光学传感器在用户看屏幕的左边缘(学生在左边的区域, )。强迫一个区域的激活,用户必须保持学生连续两帧。用户可以强制左、右、上下区域( )看着屏幕的边缘,看着中心的中央区域( )。当计算瞳孔的位置时,方程(13)确定在哪个区域。

椭圆长轴( )2.8像素和小轴( )1.9像素位于 定义了中部地区考虑到水平大于垂直的学生运动。两个线性函数( )用于划定左、右、上下区域。

眼睛的主要问题之一,迁移型交互结合nonintentional用户的目光,自然看在显示屏幕上,一个项目或目标指向行为的一代。这个问题,称为点石成金的问题,克服了一些研究工作79年,80年]。他们中的大多数使用国旗(按钮、日志停顿时间等)来触发一个eye-controlled行动。在[80年),提出一种快速分离的目光控制方法来克服把目光指向的影响看输入的结果。在这部作品中,通过移动鼠标事件控制区域的注视在一个预定义的序列,称为组合,用户可以触发任何时刻在模拟阶段。表3显示的列表可能的组合来执行和他们的描述。除了信用证_c,组合必须开始当1 s的目光仍然至少在中部地区( )。一个组合必须保持活跃的地区访问不到800毫秒。这迫使用户执行一个快速序列的注视区域。最后,组合结束,剩下的再致力于鼠标事件地区至少1 s。虽然这可以使人劳累的停顿时间,它是确保任何组合的方法是由用户意图。因此,系统运行鼠标模拟算法(图15),而用户可以看自然没有分离模拟到屏幕上。

图15给出了算法的流程图,将位移转换组合( )到USB HID鼠标指针位移。当一个 ,或被执行时,指针开始以指数的速度朝着这个方向。每一个更新当前指针位置 和像素变化( )计算使用方程(14)。

的因素在默认情况下是0.008,尽管它可以修改使用设备按钮调整光标速度屏幕尺寸和分辨率。对于常见的 分辨率和使用默认 ,需要6.91秒交叉水平屏幕上的指针。的将被添加或减去相应的轴取决于运动的方向。鼠标指针也可以在对角线移动通过激活两个位移组合(不是必要的顺序)。然后,两轴的像素数量更新的样本归一化使用

在这种方法中,用户可以停止鼠标指针移动的轴做相反的组合,而强制眨眼( )立即停止所有的积极运动。如果鼠标指针仍然是,迫使眨眼并点击。

6。结果与讨论

指向设备提出了由8志愿者测试23岁至38岁没有受损的流动性和不戴眼镜或隐形眼镜。三个志愿者蓝眼睛,5、棕色眼睛。他们坐在前面194:3电脑屏幕TFT 60厘米的距离。在每次实验中,用户自己做了初步调整阶段后,行动在前一节中解释。表2显示了一个传感器图像捕获后的每个用户初始调整和表4总结了这一阶段的结果。设置设备所需的平均时间在仿真33。平均瞳孔直径仅5.5像素,因为所有用户倾向于把光学传感器远离眼睛减少阻塞和最大化屏幕的视角。获得参考位置,正如预期的那样,成为一个受限制的区域±4像素偏移图像的中心。

一旦最初的调整完成后,两个不同的用户进行测试。在第一个测试中,用户被要求做一个固定的学生运动序列看着左,右,上,下屏幕的边缘(屏幕框架)以及它的中心为了验证检测的定义 ,和地区。平均27.7秒的记录时间为每个用户被要求用一个图像采集率为11.84 fps。

图16所示,对于每个用户,学生在运动序列位置误差。为了评估检测改进,瞳孔位置,逐帧,使用三种不同的算法可以在计划的系统:实现提出了工作,我们之前的方法(44),积分微分的运算符(46]。同时,对于每一帧,手动瞳孔位置是和作为参考。参考点之间的欧式距离和算法的结果被认为是错误的像素。

在该算法中,平均中值误差(红线框内)是0.34像素(所有用户 ),而0.41像素( )和1.39像素( )像素前,积分微分的算法,分别。平均分配(下四分位数)的25%和75%之间(上四分位数)的值(盒子高度)是在0.21和0.50之间像素算法。在前面的方法中,有一个稍微穷分布(在0.27和0.59之间像素),但比积分微分的1.09和1.68之间(像素)。积分微分的运算符是非常明智的眼睑之间产生的差异和巩膜描绘了一个弧形的形状。此外,它总是返回一个学生职位候选人(最大信心),因此需要额外的图像处理来检测是否有闪烁,抛弃假阳性检测在眨眼。

结果显示在图16,该算法平均最小值和最大值的值在±1.5差(四分位),胡须,0.01和0.93像素,分别比前面的方法(在0.03和1.02像素)。谷的误差检测算法不依赖于用户,总体而言,它仍低于1.5像素。然而,极端异常错误出现在一些用户在眨眼睫毛或眼睑阻塞而关闭。在前面的方法中,这些异常值发生在3.01%的情况下,产生的最大误差为14.58像素,而在新算法中,他们被减少到0.25%最大误差为9.14像素。这显著改善是由于中引入一套新的hyperparameters和阈值算法。此外,自然眨眼问题是克服在模拟过程中应用一个过滤器,拒绝突然瞳孔位置变化在眨眼检测部分(图解释9)。

图17显示三个传感器的图像一个志愿者眼睛,戴眼镜,隐形眼镜,什么都没有。瞳孔的位置得到手动方法,显示图片的标题(错误)的差异。黄色十字架的绝对极限对于每一行,发现红线是山谷,绿松石蓝色星号表示瞳孔中心。如图片所示,玻璃镜片降低图像质量和生产重要强调领导的近红外光谱。不可能有一个稳定的瞳孔检测条件。相反,隐形眼镜并不影响图像质量。瞳孔位置检测是检测没有入侵一样好。只是一个微不足道的偏差得到0.15像素的图像显示,,是否戴隐形眼镜,志愿者可以正常操作与设备。

图18显示用户8首先测试学生跟踪结果和相应的检测区域。由人手动瞳孔跟踪(分析图像)和估计的瞳孔跟踪(使用该算法)。结果非常相似和像素错误被限制到预期的利润。同样,估计区域计算,逐帧没有过滤器的应用,功能 (方程(13))。图(18日)显示了区域估计随着时间的推移,他们的成功考虑正确的区域的区域计算参考瞳孔位置(手动获取)。结果显示,不同地区成功的检测:用户一旦看着每个边缘区域开始总是从中央一个( )。然而,当跨越地区之间,一些学生位置错误被检测到。在用户8例,有4帧生成一个错误的区域(图中红圈18),被认为是不成功的区域检测的类型。在这种情况下,成功检测区域为95.2% ,为96.8% ,为96.5% ,为95.8% ,100%, 。

表5报告为每个用户区域检测的成功。一般来说,所有位移检测到正确的极限运动(当用户看屏幕的帧)。主要误差源当学生出现交叉区域边界,如图18(红圈)。由于这个错误,该地区的成功高度取决于每个地区的运行时间。保持该地区时间尽可能接近彼此是必要的。结果显示在表中4,该地区成功地检测到94.7%的分析情况下对应的眼睛离开了,上下方向。用户之间没有明显差异,蓝色和棕色的眼睛。成功是获得最高的眼睛移到右边缘时97.1%而最糟糕的位移的检测结果对边(左边缘)91.8%的成功。这主要是因为传感器被右边的眼睛,捕捉少向左位移,此外,左边的红外照明要差。当用户正在上边缘,该地区是正确检测到92.0%的病例。这个位移有最短的眼球运动和意想不到的头部运动变化高度敏感。当底部边缘,成功地区平均检出率为96.8%虽然是复杂的检测用户大眉毛。最后,中部地区在95.8%的情况下成功地检测到。这是最小的地区面积因此检测非常依赖于保持头部不动为了保持最初的参考位置。由于学生的小位移范围,中部地区不能扩大,因为它会影响其他地区的结果。 Unlike the edge regions, where the user has the screen’s frame as a reference point to look at, the central region does not have a reference mark and, after certain time, the user fluctuates his gaze generating false detections. This weakness could be overcome by updating the reference position every time the user gaze remains inside the central region.

最后,在第二个测试中,不同的组合进行操作(见表3),紧随其后的是另一个,通过观察边缘(框架)和屏幕的中心。用户被要求执行一系列7组合( )连续5次,每个组合测试两次。重要的是提到志愿者培训的用户和之前没有测试设备。实验是在实验室完成,但模拟真实的工作场景:一个办公室桌面与未经训练的用户。结果与用户外的实验室应该类似,尽管最初的调整,需要一定的经验水平。该设备是健壮的照明变化由于其直接外部NIR领导,这避免了室内照明调整。

尽管最初的问题在第一次接触进行组合,最终测试,大部分志愿者感到舒适的做每一个成功的组合,重复他们在最坏情况下的两倍。结果显示在表中6,最好的组合检测是迫使眨眼( )这是成功的97.5%。垂直和水平位移的组合( 和 )有类似的成功率平均84.1%的正确检测。这些都是容易执行的和之间的组合,因为移动相反的区域需要在很短的时间。因此,这些组合最成功的结果与70.0%和75.0%,分别。

工作在一个真实的场景中,该系统的主要弱点是在最初获得的参考位置敏感的调整。每个地区的检测取决于这个参考点,由于低学生位移范围,一个小偏差危害严重的整体性能。在这工作,所做的测试都是健康的用户,主要问题仍然躺在有头。在首次使用传感器,头抽搐被检测到,因为最初的紧张。此外,系统使用一段时间后,志愿者往往略有下降头,在某些情况下,他们搬到无意识而集中做鼠标事件。虽然该设备是专为有严重障碍的人不能移动头部,有理由认为滑移问题可能会出现因为头抽搐或重力。产品商业化,这个问题必须解决,例如,使用的方法81年]。同时,它可以解决通过附加耳机运动传感器,像一个加速度计,跟踪和调整不匹配的引用。同样,这一重要参考点可以动态更新通过跟踪学生的最大位移和调整区域( ),但照顾的增加计算成本和系统性能。

另一个改善点是头戴设备夹紧系统。设备非常轻量级(41 g),舒适,和低侵入性,但与直长发用户问题(幻灯片向前)。在某些情况下,由于一个小装置向前运动,学生下了相机领域,意想不到的指针暂停三角。因此,最初的调整过程必须重复。一个解决方案可以提高第三个头巾在头顶上。

实验结果结合用户交互和自然的目光(点石成金的问题[79年])显示困难产生组合。通常,用户在第一次试验失败了,因为他们不懂如何执行鼠标事件。,这是可以理解的看着多个极端的眼睛注视点(屏幕边缘)在一个控制住时间可能倾覆;然而,这种解决方案被证明是没有假阳性鼠标事件触发时自然的眼睛凝视。同时,因为组合序列非常不同,没有事件触发(组合)的错误。

尽管用户在第一次接触交互困难,他们可以执行该组合两个或三个试后(在某些情况下)。在迫使眨眼组合的情况下,一旦用户的眨眼时间感到满意,获得100%的成功,这意味着眼睛眨眼睛总是正确检测和复杂的部分是与停留时间习惯。利用鲁棒性,基于快速交互方法参与/分离可以实现鼠标控制[80年]。这可以提高其可用性,更自然的交互通过直接翻译屏幕边缘的眼睛凝视相对鼠标位移;然而,主要关心的是如何看一个特定的屏幕位置(触发一个事件)和它的结果。

7所示。结论

便宜的一个新的实现eye-controlled人机界面设备使用光学鼠标传感器。设备利用的图像采集功能、- 3080低成本光电鼠标传感器,最初设计操作作为一个位移传感器,瞳孔检测与跟踪。镜头和照明的默认配置,适合工作在2.4毫米短焦距,取而代之的是一种低成本的塑料CAY46非球面和外部近红外光谱的峰值波长850 nm为了获得锋利的眼睛,瞳孔的图像。这个建议充分利用红外波长响应率的光学鼠标传感器来检测学生的最黑暗的部分图片。

一个优化算法来定位瞳孔重心在获得低分辨率的图像传感器( 像素)详细。虽然也有类似的检测性能比最先进的算法,它可以很容易地集成在一个没有任何外部的帮助下的低成本单片机内存中。此外,过程检测迫使眨眼是为了实现执行不同的鼠标操作取决于眼睛仍然关闭的时间(没有瞳孔检测)拒绝自然眨眼。

拟议的定点设备已全面实施和评估的头盔结构,电子设计,人机交互和操作。测试在8志愿者用户检测和定位的学生成功的平均误差为0.34像素。性能检测的5定义图像区域在94.7%的情况下是成功的。学生行动的组合序列的集合(组合动作)也已成功生成的所有8个用户。在指针位移的组合序列,84.1%在第一次尝试是成功的。强迫的眨眼动作如左击,97.5%的情况下取得了成功。正确的学生运动的组合——并双击是最糟糕的结果,平均72.5%的成功,因为这些需要一个快速顺序相反的瞳孔位置。

验证结果确认低成本光电鼠标传感器能够检测学生位移和作为学生跟踪传感器可以应用在低成本的人机接口设备。虽然提出了定位设备的可用性远不像当前电脑鼠标,它可能是一个很有趣的选择为用户提供负担得起的接口装置在上肢严重残疾。

数据可用性

使用的数据来支持本研究的结果包括在本文中。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是由因陀罗,可访问性的椅子,2017。这项研究还得到了政府的加泰罗尼亚(Comissionat每一个大学我Recerca Departament d 'Innovacio,大学我senior)和欧洲社会基金。

引用

1. w·张,m·l·史密斯,l·n·史密斯和a . Farooq“性别与目光对人机交互手势识别,”计算机视觉和图像理解卷。149年,32-50,2016页。视图:出版商的网站|谷歌学术搜索
2. t . Palleja a . Guillamet m . Tresanchez et al .,“实现一个健壮的绝对虚拟鼠标结合人脸检测,模板匹配和光学流算法,”电信系统,52卷,不。3、1479 - 1489年,2013页。视图:出版商的网站|谷歌学术搜索
3. w·纳特,c . Arlanch美国尼格,g . Staufert”Tongue-mouse四肢。”微观力学和微工程学》杂志上,8卷,不。2、155 - 157年,1998页。视图:出版商的网站|谷歌学术搜索
4. s c .林陈、杨、曹y,“mouth-controlled老鼠”的设计和实现提出了在2011年IEEE EUROCON计算机作为一种工具——国际会议,页1 - 4,里斯本,葡萄牙,27 - 29 2011年4月。视图:出版商的网站|谷歌学术搜索
5. d . Hyun和m .金”Eye-mouse大型头下的人机界面运动”诉讼的IEEE Int。Conf.机器人与自动化,04年举行2004(“国际机器人与自动化会议”)新奥尔良,页237 - 242年,洛杉矶,美国,2004年5月26日4月1日。视图:出版商的网站|谷歌学术搜索
6. j .涂、h·道和t .黄”人脸作为鼠标通过视觉跟踪”,计算机视觉和图像理解,卷108,不。1 - 2日,35 - 40,2007页。视图:出版商的网站|谷歌学术搜索
7. G.-M。加工,K.-S。金,c。金et al .,“残疾人Gyro-mouse:“点击”和“位置”控制鼠标光标,”国际期刊的控制、自动化和系统,5卷,不。2、147 - 154年,2007页。视图:谷歌学术搜索
8. g . Rosas-Cholula j . Ramirez-Cortes诉Alarcon-Aquino, p . Gomez-Gil j . Rangel-Magdaleno雷耶斯-加西亚和c很,“Gyroscope-driven鼠标指针和一个EMOTIV®脑电图耳机和数据分析经验模态分解的基础上,“传感器,13卷,不。8,10561 - 10583年,2013页。视图:出版商的网站|谷歌学术搜索
9. 答:德桑蒂斯和维d。”强大的实时眼动跟踪计算机接口残疾人,”计算机在生物医学方法和项目,卷96,不。1、1 - 11,2009页。视图:出版商的网站|谷歌学术搜索
10. m·卡拉斯科e·卡塞雷斯,里奥斯,“评价eye-pointer交互设备的人机交互,”Heliyon,4卷,不。3 p . e00574 2018。视图:出版商的网站|谷歌学术搜索
11. r·b·赖利和m . j . O ' malley”扩大的沟通、适应性无触点手势控制系统”IEEE康复工程,7卷,不。2、174 - 182年,1999页。视图:出版商的网站|谷歌学术搜索
12. 德鲁·d·g·埃文斯,p . Blenkhorn”控制鼠标指针位置使用一个红外head-operated操纵杆,“IEEE康复工程,8卷,不。1,第117 - 107页,2000。视图:出版商的网站|谷歌学术搜索
13. m .梅佐j·c·加西亚·j·罗德里格斯,j . Urena j·l·拉萨罗和f·埃斯皮诺萨,“经验协助流动:我们是项目”学报》国际会议控制应用程序(CCA / CACSD的02)格拉斯哥,页766 - 771年,英国,2002年9月18 - 20。视图:出版商的网站|谷歌学术搜索
14. f·汗、s . k . Leem和s . h .赵“人机交互使用无线电传感器有严重残疾的人,”传感器和执行器:物理卷。282年,39-54,2018页。视图:出版商的网站|谷歌学术搜索
15. x霍,j . Wang和m . Ghovanloo magneto-inductive传感器基于无线tongue-computer接口,“IEEE神经系统和康复工程,16卷,不。5,497 - 504年,2008页。视图:出版商的网站|谷歌学术搜索
16. m . n . Sahadat a . Alreja n . Mikail和m . Ghovanloo”比较使用单个和多个综合能力进行复杂的计算机任务免提,”IEEE神经系统和康复工程,26卷,不。9日,第1877 - 1868页,2018年。视图:出版商的网站|谷歌学术搜索
17. d .明朱y, h .气,广域网,y,和k·d·k·卢克,“因为它使得基于脑电图研究老鼠通过脑机接口系统,”IEEE国际研讨会论文集在虚拟环境中,人机接口和测量系统(VECIMS 2009),页236 - 239,香港,中国,2009年5月11 - 13日。视图:出版商的网站|谷歌学术搜索
18. r . Raj s . Deb, p·巴塔查里亚,“人脑计算机界面上的单一关键Omni方向指向和指挥系统:屏幕显示界面为残疾的人,”Procedia计算机科学卷,133年,第168 - 161页,2018年。视图:出版商的网站|谷歌学术搜索
19. w . McClay”Magnetoencephalographic / encephalographic (MEG / EEG)脑机接口驱动程序交互式iOS移动游戏应用程序利用Hadoop生态系统,MongoDB,和卡桑德拉NoSQL数据库,”疾病》第六卷,没有。4 p。89年,2018年。视图:出版商的网站|谷歌学术搜索
20. y Ebisawa d . Ishima s .井上,y村上教授,“PupilMouse:光标控制头旋转使用瞳孔检测技术,”在国际会议的程序计算、通信和控制技术美国Austin-Texas,页209 - 214,2004年8月14日至17日。视图:谷歌学术搜索
21. 答:技术,“易达利的目光CAM30NT”, 2019年7月,http://www.intelligaze.com/。视图:谷歌学术搜索
22. t技术,“Tobii X2-30”, 2019年7月,http://www.tobii.com。视图:谷歌学术搜索
23. EyeTech数字系统公司,“TM5迷你”,2019年7月,http://www.eyetechds.com。视图:谷歌学术搜索
24. LC技术公司说,“Eyegaze边缘”,2019年7月,http://www.eyegaze.com。视图:谷歌学术搜索
25. c。林,C.-W。Ho C.-N。Chan C.-R。洲,研究。吴,M.-S。叶,”一个眼球追踪和头部控制系统使用运动increment-coordinate方法,”光学与激光技术,39卷,不。6,1218 - 1225年,2007页。视图:出版商的网站|谷歌学术搜索
26. j . d . Li巴布科克,d . j .潘克赫斯特“openEyes:低成本的头盔眼球追踪解决方案”2006年学报研讨会上眼动跟踪研究和应用,页95 - 100,圣地亚哥,加利福尼亚州,美国,2006年3月27 - 29。视图:谷歌学术搜索
27. 傅h . b . Li, d .温家宝,w . l . LO”Etracker:移动视线跟踪系统在显示基于视线跟踪算法相结合,“传感器,18卷,不。5,1626年,页2018。视图:出版商的网站|谷歌学术搜索
28. 香港EyeCan有限公司”,眼动跟踪EyeCan”, 2019年7月,http://www.eyecan.ca。视图:谷歌学术搜索
29. t技术,“Tobii眼镜II”, 2019年7月,http://www.tobii.com。视图:谷歌学术搜索
30. PupilLabs,“移动眼睛跟踪耳机,”2019年7月,http://pupil-labs.com。视图:谷歌学术搜索
31. PupilLabs,“学生核心”,2019年7月,http://pupil-labs.com。视图:谷歌学术搜索
32. t技术,“Tobii PCEye迷你”,2019年7月,http://www.tobiidynavox.com。视图:谷歌学术搜索
33. t技术,“Tobii Pro眼镜II”, 2019年7月,http://www.tobiipro.com/。视图:谷歌学术搜索
34. t·w·Ng”作为二维位移传感器,光电鼠标”传感器和执行器:物理,卷107,不。1、21 - 25日,2003页。视图:出版商的网站|谷歌学术搜索
35. j . Palacin i Valganon, r·佩尼亚”室内移动机器人测程法测量光学鼠标,“传感器和执行器:物理,卷126,不。1,第147 - 141页,2006。视图:出版商的网站|谷歌学术搜索
36. k·m·侯赛因和a . a . Sohel”使用光学鼠标作为AGV导航位置反馈传感器,”国际机械及机电一体化工程杂志》上,13卷,不。2,33-37,2013页。视图:谷歌学术搜索
37. D.-H。咦,T.-J。李,d .曹”,无焦光学流量传感器减少垂直高度敏感性在室内机器人定位和导航,”传感器,15卷,不。5,11208 - 11221年,2015页。视图:出版商的网站|谷歌学术搜索
38. p.h. Borsato和c·h·森本晃司,”Episcleral表面跟踪:挑战和可能性使用老鼠可穿戴的眼动跟踪传感器,”在第九届双年展ACM学报》研讨会上眼动跟踪研究与应用(ACM)页39-46,查尔斯顿南卡罗莱纳,2016年3月。视图:出版商的网站|谷歌学术搜索
39. m . Tresanchez t . Palleja m . Teixido, j . Palacin”使用光学鼠标传感器作为一个科学家将2元面值的伪造的硬币探测器,“传感器,9卷,不。9日,第7096 - 7083页,2009年。视图:出版商的网站|谷歌学术搜索
40. a . Fakki艾哈迈德,j .公园和c。金,“多功能optochemical量化与光学鼠标,“杂志上的传感器卷,2017篇文章ID 1243754, 7页,2017。视图:出版商的网站|谷歌学术搜索
41. m . Tresanchez t . Palleja m . Teixido, j . Palacin“使用廉价的光学传感器测量纱线直径,”Procedia工程5卷,第239 - 236页,2010年。视图:出版商的网站|谷歌学术搜索
42. m . Tresanchez t . Palleja m . Teixido, j . Palacin“光学鼠标传感器作为一个增量式旋转编码器,”传感器和执行器:物理,卷155,不。1,第81 - 73页,2009。视图:出版商的网站|谷歌学术搜索
43. m . Tresanchez t . Palleja m . Teixido, j . Palacin”使用的图像采集功能的光学鼠标传感器构建绝对旋转编码器,”传感器和执行器,卷157,不。1,第167 - 161页,2010。视图:出版商的网站|谷歌学术搜索
44. m . Tresanchez d .字体,m . Teixido t . Palleja和j . Palacin”初步研究低成本的瞳孔检测与跟踪光流传感器,”在IEEE国际仪器和测量技术研讨会论文集(I2MTC 2012)格拉茨,页1251 - 1254年,奥地利,2012年5月3-16。视图:出版商的网站|谷歌学术搜索
45. j·g . Daugman“高信心视觉识别人的测试统计独立,”IEEE模式分析与机器智能,15卷,不。11日,第1161 - 1148页,1993年。视图:出版商的网站|谷歌学术搜索
46. j . Daugman“虹膜识别是如何工作的,”IEEE电路和系统视频技术,14卷,不。1、21 - 30,2004页。视图:出版商的网站|谷歌学术搜索
47. “与- 3060高性能光学鼠标传感器数据表,”2019年7月,http://www.broadcom.com。视图:谷歌学术搜索
48. s . Kooshkestani m . Pooyan, h . Sadjedi“虹膜识别系统的新方法基于瞳孔定位快,”在计算机科学的课堂讲稿卷,5072年,第564 - 555页,2008年。视图:出版商的网站|谷歌学术搜索
49. n Barzegar和m . s . Moin虹膜定位的新方法在虹膜识别系统中,”IEEE / ACS国际研讨会论文集在计算机系统和应用程序523年,页516 -多哈,卡塔尔,2008年3月4日4月31日。视图:出版商的网站|谷歌学术搜索
50. l .组件“CAY46塑料非球面透镜”,2019年7月,http://www.lasercomponents.com。视图:谷歌学术搜索
51. 欧司朗,“光电半导体,SFH 4350,高功率红外发射器数据表,”2019年7月,http://www.osram.com。视图:谷歌学术搜索
52. 国际电工委员会,”62471:2008,光生物学的灯和灯系统,安全”欧洲标准CENELEC欧洲电工标准化委员会,布鲁塞尔,2008。视图:谷歌学术搜索
53. “与固态光学鼠标镜头数据表- 2120 - 001,”2019年7月,http://www.broadcom.com。视图:谷歌学术搜索
54. r·p·王尔德“虹膜识别:一个新兴的生物技术,”IEEE学报》,卷85,不。9日,第1363 - 1348页,1997年。视图:出版商的网站|谷歌学术搜索
55. h . g . Daway h·h·贾巴尔,a . r . Hashim”学生基于色差和圆形霍夫变换检测,”国际电气和计算机工程杂志》上,8卷,不。5,3278 - 3284年,2018页。视图:出版商的网站|谷歌学术搜索
56. n . Amjed f·哈立德,r·w·o·k·马特和h . b . Madzin“非圆形虹膜分割基于加权自适应哈夫变换数据库使用智能手机,”计算和理论纳米科学杂志》上,15卷,不。3、739 - 743年,2018页。视图:出版商的网站|谷歌学术搜索
57. n . Amjed f·哈立德,r·w·o·k·马特和h . b . Madzin”一种改进的虹膜分割技术使用圆形霍夫变换,“课堂讲稿电气工程卷,450年,第211 - 203页,2017年。视图:出版商的网站|谷歌学术搜索
58. d·李·d·温菲尔德,d . j .潘克赫斯特”的亮光:视频眼睛跟踪相结合的混合算法基于特征和基于模型的方法,”国际工程师协会下属的计算机协会的会议在计算机视觉和模式识别(CVPR研讨会)圣地亚哥,页79 - 79,美国,美国,研讨会2005年9月。视图:出版商的网站|谷歌学术搜索
59. l . Swirski a提高身价,n·道奇森,”鲁棒实时瞳孔跟踪在高度离轴图像”诉讼的眼动跟踪研究与应用研讨会(ETRA)圣芭芭拉分校,页173 - 176年,加利福尼亚,2012年3月28 - 30日。视图:出版商的网站|谷歌学术搜索
60. m . Kassner w .接线盒,提高身价,”学生:一个开放源码平台普遍存在眼动跟踪和移动gaze-based互动,”2014年兼职的ACM国际联合会议上普遍的和无处不在的计算(主要),第1160 - 1151页,西雅图,华盛顿,2014年9月13日- 17日。视图:出版商的网站|谷歌学术搜索
61. a . h . Javadi z哈基米,m·巴拉狄诉沃尔什和l . Tcheang”:一个小学生使用正弦近似检测方法,”神经工程学领域,8卷,p。2015。视图:出版商的网站|谷歌学术搜索
62. w·Fuhl t . Kubler k . Sippel w·罗森斯蒂尔和e . Kasneci”借口:健壮的瞳孔检测在实际场景中,”计算机图像分析和模式页39-51 Springer,可汗,2015年。视图:出版商的网站|谷歌学术搜索
63. w·Fuhl t . c . Santini t . KŁubler和e . Kasneci”:椭圆选择健壮的学生在真实世界环境的检测,”在第九届双年展ACM学报》研讨会上眼动跟踪研究与应用(ETRA 16),页123 - 130年,查尔斯顿南卡罗莱纳,2016年3月14 - 17日。视图:出版商的网站|谷歌学术搜索
64. w·Fuhl m .海运,a .提高身价,e . Kasneci”学生在野外探测头戴眼睛跟踪:评估状态的艺术”机器视觉和应用程序,27卷,不。8,1275 - 1288年,2016页。视图:出版商的网站|谷歌学术搜索
65. 蒂亚戈,w . Fuhl,大肠Kasneci“纯粹:健壮的瞳孔跟踪实时普遍眼睛追踪,”学报2018年ACM研讨会上眼动跟踪研究与应用p。61年,华沙,波兰,2018年6月14日至17日,。视图:出版商的网站|谷歌学术搜索
66. a . Fogelton和w . Benesova眨眼检测基于运动矢量分析,“计算机视觉和图像理解卷。148年,23-33,2016页。视图:出版商的网站|谷歌学术搜索
67. k .好莱坞m . Betke j . Lombardi j . Gips和g·r·Bradski”通信通过眨眼和眉提出:人机接口、视频”在信息社会普及,卷2,不。4、359 - 373年,2003页。视图:出版商的网站|谷歌学术搜索
68. a . Krolak和p . Strumiłło人机交互,但检测系统”在信息社会普及,11卷,不。4、409 - 419年,2012页。视图:出版商的网站|谷歌学术搜索
69. 电子工程学院工程分工科钦科技大学高知县- 682022,喀拉拉邦,印度,l .保利和d . Sankar“非侵入性眨眼检测使用HOG-SVM从低分辨率图像分类器,”国际期刊的图像、图形和信号处理,8卷,不。10、11到18门,2016页。视图:出版商的网站|谷歌学术搜索
70. Al-gawwam和m·本纳“健壮的眨眼检测基于眼地标和Savitzky-Golay过滤,“信息,9卷,不。4 p。93年,2018年。视图:出版商的网站|谷歌学术搜索
71. j·李,“眨眼检测基于多个伽柏响应波”国际会议在机器学习和控制论昆明,页2852 - 2856年,中国,2008年7月12 - 15。视图:出版商的网站|谷歌学术搜索
72. 托拜厄斯,美国的蒂亚戈,k . Enkelejda“头戴眼睛追踪器,基于运动的亮度和眨眼检测”学报2016年ACM国际联合会议上普遍的和无处不在的计算:兼职海德堡,页1726 - 1735年,德国,2016年9月12日- 16日。视图:出版商的网站|谷歌学术搜索
73. h . Zeeshan和h . Ziaul疲劳的决心,但眨眼率检测”2016年1日印度国际会议信息处理(IICIP),页1 - 5,新德里,印度,2016年8月12 - 14日。视图:出版商的网站|谷歌学术搜索
74. m·塞其m . Shimotani和m . Nishida“眨眼检测的研究使用明亮的学生,“JSAE审查,19卷,不。1,58 - 61、1998页。视图:出版商的网站|谷歌学术搜索
75. “微芯片PIC18F46J50 8位单片机数据表”,2019年7月,http://www.microchip.com。视图:谷歌学术搜索
76. “通用串行总线,人机接口设备(藏)规范,”2019年7月,https://www.usb.org/hid。视图:谷歌学术搜索
77. d . Katrychuk h·k·格里菲斯,o . v . Komogortsev“低功耗便携式虚拟现实耳机和shift-robust眼球跟踪传感器,”在第11届ACM学报》研讨会上眼动跟踪研究与应用(ETRA 19)丹佛,页1 - 8,2019 - 06。视图:出版商的网站|谷歌学术搜索
78. m . t . Tresanchez a . p . Pujol t . p . Palleja d·m·马丁内斯·e·c . Clotet j.p. Palacin,”一个便宜的无线智能摄像系统物联网应用程序基于一个手臂CORTEX-M7单片机,”无处不在的系统和无处不在的网络杂志》上,11卷,不。2、1 - 8,2019页。视图:出版商的网站|谷歌学术搜索
79. r·j·k·雅各布,”眼睛迁移型人机交互技术:向non-command接口,”先进的人机交互人机交互实验室海军研究实验室,华盛顿特区,1993年。视图:谷歌学术搜索
80. h .盼et al .,“弹簧离合器,方式方法来解决点石成金的问题,”诉讼的研讨会上眼动跟踪研究与应用萨凡纳,页221 - 228年,格鲁吉亚,2008年3月26日- 28日。视图:出版商的网站|谷歌学术搜索
81. 美国蒂亚戈特区Niehorster, e . Kasneci”控制:slippage-robust和glint-free目光估计为实时普遍戴眼睛追踪,”第11届ACM学报》研讨会上眼动跟踪研究与应用美国丹佛市,页1 - 10,2019年6月。视图:出版商的网站|谷歌学术搜索

版权

版权©2019 Marcel Tresanchez et al。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。