一个活跃的多光谱短波红外成像相机系统的设计对皮肤检测和验证

文摘

生物识别人脸识别在不同的应用场景中越来越频繁使用。然而,与面部伪装欺骗攻击仍然是一个严重的问题对于先进的人脸识别算法。这项工作提出了一种基于光谱特征脸方法验证的材料表面短波红外(短波红外成像)范围内。他们允许区分真实可靠的人体皮肤和其它材料,独立的皮肤类型。我们提出的设计一个活跃的短波红外成像成像系统获得四波段多光谱图像实时栈。系统使用脉冲群照明,它允许快速图像采集和高光谱分辨率和使它广泛的独立环境光。从获得的图像提取的光谱特征后,发现脸可以验证或被分类和“皮肤”或“皮肤材料。“方法是广泛评估对收购和分类性能。此外,我们提出一个数据库包含RGB和多光谱短波红外成像的脸图像,以及光谱仪测量不同的主题,这是用来评估我们的方法,将用于研究团体发表的这项工作。

介绍

人脸识别是生物识别系统的一个非常重要的方面,一个非常活跃的研究课题1]。人脸有优势超过其他的生物特征,因为它可以很容易地从远处不干扰捕获在一个方式(2]。因此,生物识别人脸识别系统越来越频繁使用,例如,在机场的形式自动边境控制系统,访问控制系统在关键基础设施,甚至在电脑或现代智能手机用户登录和身份验证。然而,尽管这一领域的重大进展,人脸识别仍然面临严重的问题在实际场景中,当处理不断变化的光照条件,姿势,面部表情,以及面部伪装(“假货”),如面具(3]。

为了克服光照环境变化的问题,提出了使用红外成像近年来。额与近红外光线照明的脸是人眼不可见的影响有助于减少环境光明显没有干扰和致盲科目(4]。

检测的假货,也称为活性检测,至少有三种形式的欺骗被认为是:照片,预先录制或直播视频(例如,在一个移动设备上显示),和部分或完整的面部伪装面具等。这样的攻击对人脸识别的影响被研究在一些研究中,例如,在研究项目的上下文白板(5]。尽管一些对策提出了这样的攻击(6- - - - - -8),特别是面部伪装和面具的攻击,他们仍然是一个最先进的人脸识别系统的问题。

面具可以使用不同的材料生产不同材质和表面属性,例如,纸,乳胶、橡胶、塑料、硅。由于人类皮肤颜色和质地的变化发现,识别任何可能的材料使用只有从真正的人类皮肤的视觉域是一个非常困难的任务9]。

为了克服这些问题,提出了使用红外成像在先前的工作。Jacquez et al。10]表明,人体皮肤有非常具体的缓解特点的红外光谱范围:上述光谱缓解皮肤1200海里被独立的皮肤类型和主要受水的吸收光谱的影响。此外,大多数其他材料的光谱缓解强烈的皮肤:不同的人物1显示了人类皮肤的缓解强度在视觉和红外光谱范围1700 nm对六种不同的皮肤类型,表示皮肤类型1(浅色)6(深色)在菲茨帕特里克(11相比),缓解光谱的材料可能被用来创建面部伪装。

在文献中,红外光谱低于1400 nm通常称为近红外(NIR)乐队和1400 nm和3000 nm之间的光谱的短波红外(短波红外成像)乐队。这项工作关注的光谱范围900纳米到1700纳米。在描述这个波长范围,大多数研究者只使用术语短波红外成像,以区别于工作局限于近红外光谱范围低于1000海里。本文将采用这种简化,也只使用短波红外成像在以下这个词来形容这个波长范围。现有的方法利用短波红外成像光谱范围可分为四组:多光谱图像采集使用多个摄像头和带通滤波器(9,12],光谱图象处理技术[13),单摄像机使用带通滤波器的filter-wheels顺序多光谱图像采集(14),最近,单一相机Bayer-like带通滤波器直接模式应用在传感器(15]。所有这些系统都是被动的(基于过滤器)和白日需要足够的照明或外部照明。他们将在节中详细讨论1。

在我们之前的工作中,我们提出了一个活跃的多光谱传感器非接触式皮肤检测可用于安全的应用程序,以及一个“概念验证”的一个活跃的多光谱成像系统(16,17]。传感器和成像系统获得的光谱特征对象表面:缓解强度在不同的特定组合,窄波段用于分类对象表面的材料。

这项工作的贡献是双重的。(1)基于我们之前的工作,我们提出一种改进的主动多光谱相机系统优化的系统设计验证。短波红外成像系统获得四波段多光谱图像栈的范围在实时。主要的改进(我)优化照明均匀性,(2)广泛的摄像系统校准,(3)运动补偿工件,(iv)先进的分类方法,(v)一个精心设计的评价关于皮肤检测和验证。(2)我们提出的数据研究了超过130名参与者(在撰写本文时),结合光谱测量在几个点脸和四肢与RGB相机和拍照了多光谱相机系统。这个数据库的一个子集,减少图像不同意出版的参与者,将研究社区在我们的网站上(http://isf.h-brs.de/这项工作发表的时候。我们预计出版数据库包含光谱仪的数据,至少有120参与者和图像数据从至少50名参与者。

本文的其余部分组织如下:部分1概述相关的工作。部分2提出了提出了摄像系统的设计重点是硬件。部分3和4描述了应用图像预处理和分析方法。节5、摄像系统和皮肤和假检测方法提出评估。为此,光谱仪测量数据库,以及多光谱短波红外成像和RGB图像。部分6总结了纸。

2。相关工作

在下面,我们将专注于工作,直接关系到我们的方法,即基于短波红外成像光谱范围。更一般的、全面的概述红外光谱的人脸识别方法,包括热红外范围内,可以找到在3]。

利用特定的缓解人类皮肤的特点在短波红外成像光谱范围的检测并不是一个新概念,但这种方法(我们所知)很少被研究的文献。

2000年,Pavlidis和Symosek [9]证明了短波红外成像范围有许多优点为一般人脸检测和伪装在特定的检测。他们提出了一个双重的摄像系统,包括两个coregistered相机,用一个镜头有一个光谱敏感性低于1400纳米(理想情况下800 nm - 1400 nm)和第二个相机有一个光谱灵敏度高于1400海里(理想1400海里到2200海里)。他们的系统可以使用日光或人工照明和它使用基于加权融合算法的差异来检测皮肤获得图像。根据照明源的光谱分布,必须适应的加权因子,系统不是独立于环境光。作者得出结论,他们的系统达到很好的脸和伪装检测功能与视觉光谱系统相比,有限时的检测手术面临改变,他们看到一个系统利用热红外范围的优势。在以后的出版(18),他们提出了一个扩展系统与第三摄像机的视觉光谱和更先进的人脸检测方法,包括多波段的眼睛和眉毛检测。他们的系统使用束器允许所有摄像机查看现场从同一角度,以避免与图像配准问题。

美国空军理工学院,Nunez和林业局12,13)研究了高光谱短波红外成像图像来检测皮肤的使用遥感的应用程序。作者在81年收购图像缩小900 nm和1744 nm之间光谱波段的高光谱相机和一个详细的介绍反射模型,基于这些数据的人体皮肤。实时现场使用,作者提出一个摄像机系统获取图像在不同的窄波段每个相机上使用不同的带通滤波器。为了避免图像配准问题,本系统使用二向色镜分手光束,这样所有摄像机共享一个透镜和视图的场景相同的优势。

最近,Bourlai et al。14)提出了一种多光谱短波红外成像图像采集系统使用一个相机和一个附加旋转滤光轮。滤光轮配备五个带通滤波器和半宽度(应用)的峰值波长1150 nm 100海里,1250 nm、1350 nm、1450 nm和1550 nm。通过同步相机的积分时间滤光轮,该系统可以捕获在260 ms(即所有五个波段图像。,≈3.8帧每秒的速度(FPS))。

贝尔托齐et al。15)提出一个相机,一个宽带传感器的视觉和短波红外成像光谱范围(即。,400 nm to 1700 nm) that is equipped with a Bayer-like mosaic filter pattern directly on top of the pixel array. One clear filter (full bandwidth) is combined with three high pass filters with cut-off wavelengths of 540 nm, 1000 nm, and 1350 nm. By subtracting the acquired values of neighboring pixels with different filters, multispectral images in the four wavebands of approximately 400–600 nm, 600–1000 nm, 1000–1300 nm, and 1300–1700 nm can be calculated.

由于被动(基于过滤器)系统设计、环境照明的光谱分布有很强的影响的多光谱图像获得的任何系统。相比之下,这项工作中提出的方法使用活跃的小乐队照明代替过滤器和广泛独立于环境光。它结合了一个相对高的收购与高光谱分辨率和健壮的检测速度。

3所示。相机系统设计

描述的方法在这个工作由三个主要构建块如图2,我们按顺序解释。本节描述摄像系统的设计目标和决定重点是硬件。部分3介绍了低层次的图像处理方法,而部分4将专注于更高层次的图像处理和分析。

3.1。设计目标

一般来说,人脸检测方法在生物识别应用程序有强烈需求的背景下对鲁棒性和速度的检测。这里,鲁棒性包括准确检测在不同的外部条件下如照明和一个可靠的排除欺骗攻击。

即使我们不解决任何特定的应用程序场景中,我们制定以下,而通用的设计目标,允许各种应用程序的实现。(我)环境光的成像系统应该是独立的。光源的光谱分布或任何闪烁不能扭曲提取的光谱特征。(2)一个完整的多光谱图像的采集时间堆栈应该尽可能地短。(3)移动对象不能导致错误的分类。(iv)脸和伪装检测必须独立于主题的皮肤类型、年龄或性别。(v)手术范围应面向典型合作用户场景短的几米范围(相对于长期成像场景距离超过100米(19])。(vi)系统应该只需要一个相机。这避免了需要对齐多个摄像机的光学路径或应用复杂的图像配准方法,降低了成像系统的成本,短波红外成像相机仍然非常昂贵。

所有的现有方法中描述的部分1可以实现所有这些目标。

3.2。系统设置

根据指定的设计目标,我们提出一个系统设置包括一个短波红外成像相机敏感的光谱范围900 - 1700 nm附带一个LED环形光照亮的脸在四个不同的主题在这个光谱范围窄波段(一次),如图3。一个单片机系统,嵌入到环光模块,触发短脉冲在交替不同的波段和信号的相机启动和停止接触新形象同步光脉冲。摄像机获取的图像传送到通过千兆以太网连接电脑,进而通过USB连接到单片机系统配置和启动收购。我们还开发了一个特殊的软件工具,允许用户控制图像采集和执行所有相关的图像处理和分析任务的图形用户界面。

3.3。设计LED环的光

使用发光二极管来实现照明模块是一个显而易见的选择,因为他们生产,而窄带照明和可以与高强度脉冲和可变频率。根据调查结果在我们以前的工作(16),我们选择了四个波段我们当前的设置,非常适合皮肤检测和设计LED环形光90 LED。led的数量为每个波段表所示1和选择对于每个领导的预期的辐射功率和环上的LED光的均匀分布。

LED的均匀分布在相机镜头,以及类似的视角和不同的领导类型的辐射模式,是非常重要的为了实现均匀照明。否则,一个物体的光谱特征提取将根据不同对象的位置相对于环光。为了避免这个问题,我们选择led相同的模型和制造商(Roithner-Laser古人- 935 - 525 - 1060 - 525坡,古人- 1300 - 535,和古人- 1550 - 525)和执行光学模拟找到最优分布的不同数量的每个波段发光二极管。为此,我们模拟了单led作为光源使用弗雷德光学工程(光子工程有限责任公司http://photonengr.com/)软件通过指定典型的峰值波长、光谱和辐射功率分布数据表定义。弗雷德执行射线追踪模拟光的传播从每个虚拟目标平面光源。它还提供了一个脚本语言和批处理功能与不同的参数运行一系列的模拟。这种方式,我们比较不同的布局模式和不同位置为每个波段发光二极管通过模拟得到的强度分布在目标平面。理想情况下,所有波段的归一化强度分布应该是相同的,导致均匀的“颜色”的目标。最好的解决方案我们发现和照度分布如图所示4。由于可视化四个短波红外成像波段的黄色,红色,绿色,蓝色,结果是一个软黄色(混合)。将由当地的变化明显的非均质色调但是不能观察到的。

3.4。眼睛的安全性评价

眼睛安全是高功率短波红外成像照明源的一个重要方面,随着辐射波长1400 nm仍然可以穿透人类的眼睛和视网膜造成热损伤。欧盟指令2006/25 /如定义绑定允许的限制对于脉冲光源的照明系统,应按照适用的标准来衡量。对于我们的摄像系统,这是DIN EN 62471。该指令定义限制的有效的光辉在视网膜上,由一个因素加权根据辐射的波长,和总辐照度在角膜上测量的距离m。

设置必要的测量是不提供给我们,我们分析了短波红外成像辐射的入射功率在一个观察者的眼睛站在圈的“甜蜜点”基于光学模拟的光。假设瞳孔直径7毫米,最大入射功率的距离m是通过935纳米波段和达到的水平mW。这对应于总辐照度W / m²。

使用一个模型的环光简化“安全的方向”,我们反复核对这个结果使用规格led数据表中给出。典型的辐射强度的935纳米给药W / sr。现在我们假设(在最坏的情况),所有发光二极管935纳米波段不断动力和直接相邻,这样的辐射强度发光二极管可以近似和辐射面。现在我们可以计算和如下: 与是一个根据指令2006/25 / EG和校正因子米的距离观察者根据DIN EN 62471。

表2显示我们的结果和欧盟指令定义的限制。正如所料,总辐照度计算使用简化的“最坏情况”模型是略高于模拟,结果显示其合理性。不过,计算值远低于允许的极限,即使观察者盯着进入环光很长一段时间。这使得一些空间戒指光的输出功率进一步增加。

3.5。图像采集原理

在实践中,环光脉冲光源。单片机系统使其固定的顺序一个接一个的不同波段同时触发相机曝光。消除环境光的影响,在每一个采购周期触发额外的相机曝光没有环光闪烁。这参考图片减去从每个其他图像的预处理,以便只有光戒指发出的光在一个波段仍在这些图像,我们称之为波段图像。每组波段图像和相应的参考图片组合成一个多光谱图像栈。这种方法适用于环境光从连续光源,如日光。在这里,所有的光源强度变化非常缓慢或快速相比,一个完整的采集周期可以被认为是连续的。然而,“闪烁”或脉冲光源,改变他们的强度与频率大小类似于采集频率,可能会导致扭曲的光谱特征。在实践中,大多数光源是白炽灯或荧光灯闪烁,闪烁在当地的两倍电力线路50 Hz或60赫兹的频率,因此有一段10 ms或分别女士。通过使用曝光时间匹配这一时期或任何它的倍数,其影响可以很容易地减少到可以忽略的水平。

我们目前的设置是基于一个盟军愿景鲱鱼g - 032短波红外成像相机,这是配备了一个铟砷化镓(InGaAs)传感器和特性的最大帧率100帧每秒(FPS)在其全部解决像素与14-bit A / D转换。由于相机的读出时间短,可以在帧速率与曝光时间足够接近10 ms移除闪烁的灯的效果。图5说明了信号的时间顺序由单片机系统在一个完整的采集周期的50毫秒,导致的有效帧速率FPS。

4所示。图像预处理

每个图像获得的短波红外成像相机是通过以太网传输到PC。同时,单片机系统讲述了PC波段的光一直活跃在暴露通过USB连接。鉴于此信息,在个人电脑上运行的软件执行几个预处理步骤优化和匹配图像为了组成一个多光谱图像栈。

4.1。固定图形噪声校正

尽管相机的内部两点非线性校正(NUC),曝光不足的图像显示显著的固定图形噪声取决于实际的像素强度。作为系统设计需要一个参考图像无闪烁的戒指,噪音会影响在黑暗环境中拍摄的图像。详细分析了传感器的行为,传感器区域均匀照明使用可调节的石英卤素灯通过整合乌布利希球和70图像增加亮度。这幅图像数据作为查找表应用每一个像素点的多点非线性校正。图9结果表明该方法的有效性。

4.2。运动补偿

在下一步中,一个采购周期的波段图像与多光谱图像叠加相结合。波段图像已经收购了顺序,场景中的任何移动物体或人的位置可能会改变每个图像之间的堆栈。在实践中,这将导致运动工件并有可能引起错误的分类由于扭曲的光谱特征。这个问题是很常见的所有方法都需要按顺序coregister获得图像,如滤光轮相机系统(14]。

为了解决这个问题,我们提出一个帧插值方法基于运动估计与补偿技术来正确地对齐所有边缘在每个堆栈的形象。为此,光学流已被证明是一种非常有效的方法,但计算昂贵的方法(20.]:足够的高性能实时应用程序目前只可以通过实现使用图形硬件(gpu)。Hoegg et al。21)表明,这种方法也可以用来补偿运动coregistered收购飞行时间的序列图像的相机。

然而,光学流不能直接应用于我们的数据,作为照明条件和强度值的对象表面可能不同波段图像之间的强烈。尤其是图像融合的第一步,(不是积极照明)的减法参考图像,可能会导致问题:正确曝光的图像区域的细节积极发光波段图像可能完全黑暗,没有详细的参考图像。

因此,我们使用以下的运动补偿方法:考虑一个完整的多光谱图像栈,作为一个连续的数字,组成的图片有时,收购了,。此外,我们假设一个离散和等距采集时间为每一个图像和一个常数采集时间堆栈的完整图像,如图6。

我们不能成功地应用光学流直接序列图像,即之间和如上面所示的图7,我们也考虑后续的多光谱图像栈并应用光流对应的图像,即两者之间和,双向的方式导致的一组位移映射(向量场)。考虑

作为和都获得相同的光照条件下,这个操作的结果更好,如较低的排图所示7。假设一个常数和对应的图像之间的线性运动和每一个向量描述像素的运动位移的地图之间的和可以被看作是一个线性组合的相同的部分向量描述一个像素之间的运动和。基于这样的假设,我们现在向前和向后位移映射部分适用于估计的图像在中间的时候,导致 在哪里表明位移贴图的应用图像。

最后,对所有,,移动物体的位置将在参考图像匹配他们的立场。因此,任何进一步的处理,即减法从每个波段图像,,和合并的图像在一个多光谱图像叠加,可以应用在这个motion-corrected波段图像。对于这个应用程序,光流算法Brox et al。22),运行在一个使用CUDA GPU实现,被发现是最好的选择,因为它提供了非常好的结果结合可接受的运行时。结果提出了运动补偿方法的部分5。

4.3。校准

与多光谱图像栈被正确设置和环境照明所有波段图像相减时,透镜畸变和不同的光照强度可以纠正图像预处理中的最后一步。为此,三组多光谱图像的栈记录为每一个镜头。棋盘校准模式是用来计算透镜畸变的校正矩阵每一个波段分别以补偿不同的变形特征由于横向色差的透镜。此外,纯白色的表面是用来测量两个镜头光晕,为每个波段光分布的环并计算各自的校正矩阵,可实现图像区域光照强度。最后,“白参考”统一缓解特色瓷砖在短波红外成像光谱范围是用来测量绝对波段之间的不同的光照强度,存储为一个向量的每个波段校正因子。这个波段具体修正数据后的多光谱图像栈应用在每一个图像的引用图像减去。

5。图像分析

多光谱图像栈获得相机系统自动分析软件的两个步骤:首先,皮肤分类方法分析了每个像素的光谱特征来检测显示人体皮肤区域。第二,人脸检测算法搜索在1060纳米波段图像,这个波段非常适合这一目的:缓解皮肤相对强度高,眼睛和嘴出现深色。最后,检测到人脸的位置匹配皮肤分类的结果,以验证其真实性。

5.1。皮肤的分类

优化分类精度和运行时性能,皮肤的分类方法包括两个算法,一个粗粒度和细粒度的分类。两种算法执行pixelwise使用单个像素的光谱特征分类如下: 与每个,,对像素的灰度值在光谱图像多光谱图像的堆栈,包括光谱图像。

为每个像素,第一个算法计算归一化差异所有可能的组合的灰度值在如下: 与和。因此,对于,我们得到一个向量的归一化差异与 为每个像素。从归一化差异。与光谱特征的值相比,他们是独立的绝对亮度像素分析,不同的测量距离。这允许一个健壮的和快速的分类据材料通过指定每个规范化上下阈值的差异。然而,这种“过滤器”算法是不能区分皮肤材料,非常类似于皮肤,如某些硅用于创建面具。

因此,第二个分类算法应用于样品归类为“据。“基于我们之前的工作成果23),我们使用支持向量机(svm)细粒度的分类。支持向量机的训练使用归一化差分向量计算(如上所述),根据多光谱图像的光谱特征提取的皮肤,据材料,和其他材料获得了摄像系统。如部分所示5,支持向量机分类器执行比滤波器的区别,但计算复杂度较高。限制积极的支持向量机分类的样本分类的不同滤波器可以显著减少皮肤的典型运行时检测。此外,异常值和“未知”的材料样本(样本,并不包括在训练数据)不太可能产生假阳性当使用两种不同的分类器。像素分类为皮肤都存储在一个二进制图像与代表皮肤和代表皮肤。

5.2。人脸检测

在图像分析的第二步,我们使用先进的人脸检测算法在1060纳米波段图像检测的面孔。我们测试了从Cognitec系统专有FaceVACS软件GmbH和局部二进制模式的一个开源实现基于直方图(LBPH)为此面临识别器。皮肤分类的结果可以被用于提高人脸检测算法的性能通过限制搜索区域面临皮肤被检测到。验证面孔图像中发现,他们的位置是与皮肤检测方法的结果。一张脸证实是真实的,如果“皮肤”比“皮肤”上面的面部区域内像素指定的阈值。

6。结果与讨论

结果我们的工作分为四个部分:首先,我们现在的图像与多光谱相机获得系统和图像处理方法的结果。第二,我们描述的设计研究(通过写作的时间)超过130名参与者,目前获得的数据,包括光谱仪数据和多光谱图像。基于这些数据,提出了皮肤的性能和鲁棒性检测和分类的方法进行了分析。最后,假的性能检测评估方法。

6.1。收购质量和性能

图8显示了一个示例多光谱图像栈的摄像系统获得的图像处理后,由四个波段图像和参考图像用于弥补环境光,以及用相机拍摄高质量的RGB彩色图像进行比较。

由于轴向色差纠正不足的相机镜头随着波长的增加,导致重点转变是不可能的所有波段图像完全集中在同一时间。这种效果只能减少停止下来小光圈的镜头。因为只有1060纳米波段图像用于人脸检测,我们关注这个波段图像并接受在其他波段图像锐度略有下降。

但是。环境光的影响

评估环境光的影响摄像系统,一系列的图片参考目标定位在≈1.5米的距离拍摄不同照明条件。平均光照强度测量的参考目标如图11。在这个测量,环境光还没有减去的脉冲信号。荧光灯上依稀可见的短波红外成像相机,虽然日光和白炽灯可能显著增加亮度。即使没有达到饱和,传感器显示了一些非线性行为增加亮度级别:实际的信号强度,也就是说,缓解之间的差异与活跃的环形光照明和环境光强度,减少了在黑暗和明亮的环境照明≈20%。然而,波段之间的相对强度差异保持几乎相同,对波段之间的归一化差异的影响只是非常小的只要传感器不饱和。饱和可以避免容易通过动态减少曝光时间。然而,这也会减少短波红外成像脉冲的强度得到了缓解。因此,环境光可广泛被忽视但可能减少的最大操作距离摄像系统。

6.1.2。操作范围

摄像系统的最大操作距离取决于几个因素。最重要的是环光的辐射功率:随着距离的目标,获得缓解强度(“信号”)会强烈降低噪音,直到他们不再能区分开来。此外,正如之前所描述的那样,随着环境光信号强度略有降低,而绝对(拍摄)噪声增加(24]。评估质量的信号,我们测量的噪声水平的参考图像和信号振幅在不同距离目标在黑暗和明亮的环境和计算信号噪声比(信噪比)根据[25)如下: 与被的平均信号幅度和目标在同一区域内的标准偏差的参考图像。研究的结果发表在表3。在我们的实验中,信噪比≥20 dB足以确保可靠的皮肤分类。因此,即使在明亮的日光条件下(中午阴天),这个系统可以在至少4米的距离。

除了信号噪声比,相机的分辨率和视场系统还限制操作范围。可靠的人脸检测和识别,目前最先进的算法要求的形象面对目光解决像素(4]或≈1像素/毫米。对于我们的相机,我们选择了一个透镜的焦距50毫米,导致一个角度的看法和一个操作的距离。

6.1.3。校准结果

图9显示了固定图形噪声校正方法的有效性:它提供了一个“假彩色”表示上三个波段之前和之后的回调。1060纳米波段映射到红(R),绿色(G)的1300纳米波段,和蓝色的1550纳米波段(B)通道。

光照强度和均匀性的评价环光显示一些意想不到的结果。首先,935纳米波段似乎比其他波段阴暗得多,尽管所有935海里的总辐射功率led远远高于其他的波段。一个可能的解释是相机的传感器的特点,这是较不敏感波段。第二,尽管来自同一制造商,有类似的包,不同的领导类型有稍微不同的辐射模式。因此,在实践中,光分布不如模拟分布。然而,绝对强度差异和不均匀性可以纠正运用校准数据,如图12。

6.1.4。运动补偿

运动补偿方法的结果如图所示10与原始图像,左边和右边的校正图像,都表示为3波段假彩色图像。使用CUDA GPU-accelerated实现,方法基于密集的光流算法Brox et al。22]目前需要≈110 ms过程3图片在我们的机器上(英特尔酷睿i7 4771 CPU、英伟达GTX 780显卡,Ubuntu Linux 14.04 64位,GCC5.3, CUDA 6.5)。当运动补偿应用于实时的流获得的图像,它成为整个图像处理链的瓶颈和限制相机的帧速率系统目前≈9 FPS与3与4波段或≈6.5帧/秒。没有运动补偿,性能是有限的摄像系统的最大帧速率FPS与3或FPS 4波段。

6.2。研究设计

为了评估我们的方法的鲁棒性皮肤检测和收集训练数据分类算法,我们设计了一个研究获得的图像数量代表的人与我们的摄像系统和RGB相机(佳能EOS 50 d),以及光谱仪(TQ irSys 1.7)数据的光谱范围660 nm - 1700 nm。通过写这篇文章的时候,研究仍在进行中。由此产生的数据库的一个子集,减少了图像的参与者不同意发表,将用于研究团体发表的这项工作。

在下面,我们目前的135个参与者的数据。多光谱短波红外成像图像拍摄的135人(76女性,59人),而RGB图像和光谱仪测量只能获得120年(73名女性,47岁男性)。作为我们的大学进行的这项研究是最常见的皮肤类型2和3,我们大部分的参与者在20到29岁之间的平均≈28。各自的频率分布如表所示4和5。必须指出的是,一些参与者一直在化妆。这将是一个常见的情况在现实生活中的应用,测试化妆的影响是本研究的一部分。

对于每一个主题,光谱仪测量数据收购十六分的脸和手臂:5点在脸上(额头、鼻子、脸颊正面和侧面,和下巴),3在颈部(前面、侧面和后面),2耳,4在手臂(正面和背面的上臂和前臂),和2手(palm和背部)。这些点被选为他们涵盖所有领域的皮肤区域,通常是将摄像机视图用于人脸检测。

RGB相机和多光谱相机系统,7肖像照片被为每个主题:三额照片有不同的面部表情,两声枪响,从一个角度从一个角度,和两个配置文件。受试者戴眼镜被要求脱这些照片。在本例中,我们添加了一个额外的戴眼镜的形象进行了比较。

在图13,我们现在RGB和(假彩色)多光谱的短波红外成像肖像图像6我们的研究参与者代表皮肤类型1到6后菲茨帕特里克(11]。正如预期的那样,最明显的不同皮肤颜色的RGB图像几乎可忽略不计的短波红外成像图像。

6.3。鲁棒性的皮肤检测和分类

在接下来,我们将详细分析光谱仪和相机数据为了证明我们的皮肤检测方法的有效性。

6.3.1。谱仪数据

对于这个评价,我们使用光谱仪的数据只有8 101年16点测量的主题,离开手,胳膊,和耳朵,导致808皮肤样本。我们结合这些样本和336个样本不同的材料(包括不同的塑料、纺织品、金属和木材)和改变了光谱仪数据通过应用环光的发光二极管的模型以模拟预期的光谱特征摄像系统。为此,每个样品的反射光谱与每个领导的复杂的发射光谱(26]。

我们计算了归一化差异之间的所有波段的光谱特征对所有样本,应用主成分分析(PCA)在数据集。图14提出了两个主要组件的情节,已经分离的大部分样品。使用不同过滤器通过指定最小和最大阈值为每一个归一化差异,所有的皮肤样品都可以分离完全从所有材料样品,如表所示6。

再。相机的数据

分析数据与摄像系统获取,我们皮肤的光谱特征提取和各种图像研究中使用的其他材料。像素显示皮肤被存储为正面例子和“皮肤”像素负面例子。类似于分光计的数据,我们应用了主成分分析在这个数据集。两个主要组件是如图15和完全独立的两类。然而,滤波器的区别分类器不能单独所有的所有材料样品的皮肤样本,如表所示7:一些材料样品属于“CP-Flesh”,专门设计用于硅混合物模仿人体皮肤,出现假阳性。因此,我们使用LibSVM训练SVM分类器在数据集。评估SVM的性能,我们应用一个十倍交叉验证,每个折叠随机选择90%的样本训练和测试为10%。支持向量机的结果如表所示8:皮肤和材料可以完全分开。

通过分析数据,并回顾了图片,我们没有发现一个重要的化妆品对皮肤的影响分类结果。因此,我们要求一个主题使用大量化妆品和粉和获得额外的图片。我们发现,只有非常厚层粉,清晰可见的RGB和短波红外成像图像,可能影响光谱签名足以导致假阴性的结果。因此,我们的方法检测证明是健壮的针对不同皮肤类型,典型的化妆品,和不同的测量条件。

6.4。面临评估验证

分析验证了摄像系统的性能,我们第一次评估的可用性和质量获得图像进行人脸检测。然后,我们测试了皮肤分类性能相比,我们的方法在不同的假货和结果的录取率先进的人脸识别软件。

6.4.1。短波红外成像图像的可用性

短波红外成像图像的可用性进行评估,我们训练有素的专有的艺术FaceVACS和openCV实现LBPH脸识别器与RGB图像的上下文中获得我们的研究。然后美联储面临的算法图像与多光谱相机系统获得并试图识别和验证的脸只使用1060纳米波段图像。

FaceVACS确认所有正确的脸。此外,它验证面临的得分概率和与。只有的所有面孔都验证概率得分,的最小值。这些罕见的低概率的例子已经详细调查,可能会造成强烈的突出的眼睛(从环光反射)或不同的姿势。然而,接受的阈值受到了所有测试图像。

相比之下,LBPH面对识别器做了一个惊人的不好:它只识别所有1060海里的脸图像正确和非常低的信任值计算那些实际上验证。我们这个结果相比其性能上训练时额外的短波红外成像图片(没有测试样品的一部分),得到了更好的结果有更好的信心值验证测试图像。我们得出这样的结论:这张脸识别器所使用的分类器使用特性,并非绝对不变的灰度值和排除该算法进一步评估。

6.4.2。假的检测性能

一起在一个先前的研究项目的背景下德国联邦信息安全办公室(der Informationstechnik Bundesamt皮毛Sicherheit, BSI),几个photo-fakes和面具,模拟面对我们的一个测试,是为了制造测试人脸识别系统的脆弱性和制定相应的对策。不同的材料已被用于这些面具,包括特殊硅混合物,塑料、硬树脂,纺织品和纸。化妆和油漆已经应用于面具让他们更为现实。与真正的参加FaceVACS主题,所有的假货和面具取得了超过70%的概率验证见使用RGB相机和接受时,除了纸面具。特别是photo-fakes并打印在t恤取得了很高的分数FaceVACS由于缺少活性检测。

使用图像获得的与我们的摄像系统,大部分的假货在FaceVACS取得更低的分数,即使没有皮肤的分类,因为使用的着色剂在短波红外成像范围不太明显。这适用于大多数photo-fakes并打印,以及塑料硬树脂面具:验证分数下降到不到。图16显示了RGB和短波红外成像(假彩色图像的一个戴着面具的主题创建使用3 d打印机,在短波红外成像的图像更容易被探测到。透明硅面具,然而,仍然是一个重要的问题。

添加光谱仪测量所有的假货数据库和培训新的差异筛选分类器显示,据英国没有假货,如硅面具,可以分开皮肤很容易。同样的适用于相机数据:我们添加了假货的图像数据集和应用过滤器分类器的区别。结果如表所示9:这个数据集,超过材料的样品被归类为皮肤,也就是说,所有的硅面具。幸运的是,一个支持向量机分类器产生一个更好的结果和达到的精度在一个10倍交叉验证,如表所示10:87 ()的皮肤样品被拒绝,但只有40 ()的材料样品被归类为皮肤。每个样本都是单个像素的图像,这种错误不会在现实中有很大的影响。

最后,我们测试了分类器与一个新的数据集。我们带着两个主题的图片,没有硅面具和应用过滤器的区别和SVM分类器先后在图像。不同滤波器的结果图的上半部分所示17:分类器检测到所有皮肤像素正确但也把大部分的假像素的皮肤。

一组真实和假阳性样本差异筛选分类器的结果与正确类和注释作为测试集对支持向量机分类器。几乎是完美的结果,如表所示11:只有16个样本(=像素)的假材料仍属于皮肤,虽然没有真正的皮肤像素被拒绝。这些结果也适用在实践中,如图的下半部分所示17:只剩下像素显示发现皮肤图像,而面具像素被拒绝。因此,发现脸没有面具验证与很高的皮肤比真实的皮肤面部区域内的像素,而面具的脸是可靠地拒绝假货。

7所示。结论

我们提出一个活跃的多光谱短波红外成像相机系统实时人脸检测和验证。系统获得四波段多光谱图像栈内收购50毫秒的时间。从获得的光谱特征的提取图像允许可靠检测独立于皮肤类型。我们的方法只需要一个短波红外成像相机和使用活跃的小乐队基于脉冲led照明,使它广泛的独立于环境光。在移动对象运动构件由于波段图像序列采集有效的被使用基于光流的运动补偿技术。系统可用于多种应用场景不需要定期校准。

识别,人脸检测的应用和验证,活跃额短波红外成像照明确保可靠的人脸检测和提取面部特征。基于获取的多光谱图像,该分析方法允许检测欺骗攻击使用假货或硅等面部伪装面具,这仍然是一个大问题对于先进的人脸识别系统,显著提高可靠性。

除了摄像系统,我们提出了一个数据库面临的来自多个学科的图像在不同的姿势和角度,获得我们的摄像系统和RGB相机,辅以光谱仪数据在660 nm和1700 nm之间的波长范围。这个数据库将用于研究团体发表的这项工作是在我们的网站上。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是由德国联邦教育和研究作为程序的一部分“FHprofUnt”(FKZ: 03 fh044px3)和德国研究基金会的支持(DFG)作为研究的一部分,培训组GRK 1564”成像新方法。“作者也幸好承认德国联邦信息安全办公室的支持(BSI)。

引用

1. n Erdogmus和s . Marcel“欺骗与3 d人脸识别面具,”IEEE取证和安全信息,9卷,不。7,1084 - 1097年,2014页。视图:出版商的网站|谷歌学术搜索
2. t . Bourlai和b . Cukic多光谱人脸识别:识别的人在困难的环境中,”第十届IEEE国际研讨会论文集情报与安全信息学(ISI的12)2012年6月,页196 - 201。视图:出版商的网站|谷歌学术搜索
3. o . Arandjelovićr . Shoja Ghiass, a . Bendada x Maldague,“红外人脸识别:方法和数据库的全面审查,”模式识别卷,47号9日,第2824 - 2807页,2014年。视图:出版商的网站|谷歌学术搜索
4. 李z和a . k . Jain手册的人脸识别施普林格,第二版,2011年版。
5. n高丝J.-L。Dugelay”人脸识别系统的脆弱性面具欺骗攻击,”学报》第38届IEEE国际会议音响、演讲,和信号处理(ICASSP 13)2013年5月,页2357 - 2361。视图:出版商的网站|谷歌学术搜索
6. k . Kollreider h . Fronthaler, j . Bigun”脸图像,非侵入性的活性检测”图像和视觉计算,27卷,不。3、233 - 244年,2009页。视图:出版商的网站|谷歌学术搜索
7. j . Komulainen a哈迪德,m . Pietikainen“基于上下文面对欺骗,”学报第六届IEEE国际会议上生物识别技术:理论,应用程序和系统(bta”13)2013年9月,页1 - 8,。视图:出版商的网站|谷歌学术搜索
8. j .杨z Lei, s .廖,s . z李“脸活性检测组件相关的描述符,”生物识别技术学报第六届国际会议(ICB的13)2013年6月,页1 - 6,。视图:出版商的网站|谷歌学术搜索
9. 即Pavlidis和p . Symosek成像问题面对/伪装检测系统,自动”《IEEE计算机视觉可见光谱以外的研讨会(CVBVS ' 00)15 - 24页。希尔顿海德,SC,美国,2000年。视图:出版商的网站|谷歌学术搜索
10. j . a . Jacquez j .鲨鱼肉,w . Mckeehan j . m . Dimitroff和h . f . Kuppenheim”,人类皮肤的光谱反射率在该地区0.7 - -2.6μ米。”应用生理学杂志,8卷,不。3、297 - 299年,1955页。视图:谷歌学术搜索
11. t·b·菲茨帕特里克“sun-reactive皮肤类型的有效性和实用性,我通过VI,”皮肤病学档案,卷124,不。6,869 - 871年,1988页。视图:出版商的网站|谷歌学术搜索
12. a . s . Nunez人类皮肤的物理模型及其应用搜索和救援[博士。论文)、空军理工学院、赖特-帕特森空军基地,工程学院,赖特-帕特森空军基地,俄亥俄州,美国,2009年。
13. a . s . Nunez和m . j .林业局”检测近红外高光谱图像的人体皮肤”IEEE国际地球科学和遥感学报》研讨会(雪茄烟' 08)2008年7月,页II621-II624,。视图:出版商的网站|谷歌学术搜索
14. t . Bourlai:纳b Cukic, l . Hornak”设计一个短波红外成像多波长facial-based采集系统,”红外技术和应用卷,8353学报学报,2012年4月。视图:出版商的网站|谷歌学术搜索
15. m .贝尔托齐r . Fedriga a米隆,J.-L。Reverchon”,在低能见度条件下行人检测:短波红外成像帮助吗?“在图像分析和Processing-ICIAP 2013答:彼得,艾德,卷,8157在计算机科学的课堂讲稿施普林格,页229 - 238年,柏林,德国,2013年。视图:出版商的网站|谷歌学术搜索
16. o . Schwaneberg h·施泰纳·h·玻利瓦尔和n .荣格”设计的led传感器系统区分人体皮肤与工件在安全应用程序中,“应用光学,51卷,不。12日,第1871 - 1865页,2012年。视图:出版商的网站|谷歌学术搜索
17. o·h·施泰纳Schwaneberg, n .荣格“主动近红外传感器系统的进步对物质分类,”诉讼的成像系统和应用程序加州蒙特利,美国光学学会,美国,2012年6月。视图:出版商的网站|谷歌学术搜索
18. j . Dowdall i Pavlidis, g . Bebis“人脸检测在近红外线光谱,”图像和视觉计算,21卷,不。7,565 - 578年,2003页。视图:出版商的网站|谷歌学术搜索
19. b . e . Lemoff r·b·马丁·m·斯卢奇k . m .卡夫卡,a·杜比和r .冰,“自动化、远程、每天晚上active-SWIR人脸识别系统”40红外技术和应用程序卷,9070学报学报,页90703 i - 1 - 90703 - i - 10,巴尔的摩,医学博士,美国,2014年6月。视图:出版商的网站|谷歌学术搜索
20. l . Raket l . Roholm a Bruhn, j . Weickert”运动补偿帧插值与对称的光流约束”先进的视觉计算卷,7431在计算机科学的课堂讲稿施普林格,页447 - 457年,柏林,德国,2012年。视图:出版商的网站|谷歌学术搜索
21. t . Hoegg d Lefloch, a科尔布,“实时运动工件pmd-tof补偿图像,”飞行时间和深度成像。传感器、算法和应用程序卷,8200在计算机科学的课堂讲稿施普林格,页273 - 288年,柏林,德国,2013年。视图:谷歌学术搜索
22. t . Brox a Bruhn:这不,j . Weickert“高精度光流估计基于扭曲的理论,”电脑Vision-ECCV 2004卷,3024在计算机科学的课堂讲稿施普林格,页的技能,柏林,德国,2004年。视图:出版商的网站|谷歌学术搜索
23. o . Schwaneberg Kockemann, h·施泰纳斯波尔,a科尔布和n .荣格“材料分类意识到多光谱数据融合,通过距离”测量科学与技术,24卷,不。4、文章ID 045001, 2013。视图:出版商的网站|谷歌学术搜索
24. j . r . Janesick科学电荷耦合器件卷。83年,学报出版社,2001年。视图:出版商的网站
25. s·w·史密斯,科学家和工程师的数字信号处理指南,1997年加州技术刊物。
26. o . Schwaneberg概念、系统设计、评估和安全要求多光谱传感器[博士。论文)2013年,韦伯就已经在席根大学。

版权

版权©2016 Holger施泰纳等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。