文摘

光谱指纹的化学指标,使用电脑屏幕作为光源和网络摄像头成像探测器,是一个新兴的化学传感方法可能共存的共同消费电子设备。这种技术的迁移到手机是扩展这个关键传感方法最无处不在的和熟悉的一种仪器。在这里,我们调查的可行性和性能参考样本的光谱指纹使用一个标准的手机作为一个完整的测量平台,在屏幕上提供照明控制在前置摄像头成像探测器。关键元素的执行这些实验是软件设计,样品布局的定义,类型的电话和样品之间的一致性,和环境光照的影响。本文展示了反射指纹识别的可行性标准手机和识别的操作条件产生足够的评价性能的关键参数。

1。介绍

化学传感基础上无处不在的平台,如消费电子设备是一个新兴战略分散的生物医学决定(1)和(生物)化学传感2,3]。

在这个传感模式,用户已经自己的测量平台,设备,如DVD单位,平床扫描仪,或电脑集和检测成为可能通过一个额外的传感元件特殊设计的光学读这样的平台。

平床扫描仪(3,4)、DVD和高清晰蓝光驱动器(5,6),计算机集结合网络摄像头(所谓的电脑屏幕photo-assisted技术,CSPT [2,7),和手机8)已经证明了不同的化学传感应用。

不同的平台已经利用了不同的检测原理。在平板扫描仪和移动电话的情况下,现有的示威活动是纯粹的比色检测,而蓝光设备已经使用他们的三个可用的狭窄的激励(6]。尤其是CSPT概念,已经证明来支持不同的光学现象,从光谱指纹识别荧光激发发射矩阵的指标(2,9,10],和反射率测量[11]label-free检测,如ellipsometric成像(12和表面等离子体共振13)实验。

CSPT、线性偏振宽频带和部分重叠光谱光芒可以组合在一起以产生不同的光谱作用,结合部分重叠的宽带检测支持网络摄像头创建多个波段的光谱分析(10,14]。该方法建立在光谱重建策略(15,16),这是用于荧光的分类指标用于化学传感(2,10]。

必要的组件来执行CSPT实验今天出现在标准的手机,这也许是最具吸引力的平台由于其普遍性,支付能力,和流动性,在这项工作中,我们调查CSPT指纹等设备的性能。我们瞄准CSPT指纹在最简单的配置中,也就是一个电话与样本和屏幕程序作为光源操作结合手机的正面相机生产CSPT测量。

在这里,我们审查的局限性和CSPT指纹的可能性在这个配置中,我们解决最相关的问题,比如照明条件下,样本大小,密度感应和/或参考地区,环境光干扰的影响,对齐条件,和软件设计。

2。实验

2.1。设置

测量平台在这个工作是一个负担得起的和标准的手机诺基亚6220经典,它提供了控制光源,成像和收购能力CSPT实验。

屏幕对角线54毫米,24位颜色与QVGA分辨率TFT显示格式(320×240像素)。图1(一)显示了7个颜色的光谱辐射普通液晶屏的显示在屏幕上(戴尔纬度D800)常用CSPT实验,而图1 (b)对应于手机屏幕,操作的标准条件之下,强度,γ和颜色设置。

(一)
(一)
(b)
(b)
图1
7 (a)的光谱产生的光芒颜色显示在屏幕上的纬度D800戴尔笔记本电脑。行对应的颜色显示的颜色。(b)同上的(a),但颜色是显示在屏幕上经典的诺基亚6220手机。

12位分辨率的谱美测量光纤分光光度计(2000年海洋光学USB)直接指向屏幕,设置为相同的配置,显示7时考虑颜色。

三胞胎所指定的颜色可以显示重量的红、绿、蓝屏幕的渠道。三胞胎用于定义照明的颜色在这工作有:红色(100)、红色(101),蓝色(001),青色(011),绿色(010),黄色(110),和白色(111),1表示的最大强度。

这些相同的感知颜色可以由不同的光谱光芒无限,每当他们产生相同的强度下整合乐队的探测器。诺基亚6220经典的谱美,尽管不同的形状,等效强度LCD屏幕和覆盖要求的光谱范围CSPT实验。

图像检测,诺基亚6220项有两个成像设备,主要5像素相机背面的装置,和一个CIF摄像头(352×288像素,用作QCIF视频176×144像素)在屏幕的左上角,这是旨在运作在视频通话。

一定比色决定的环境光,后端相机是最好的选择,然而,在CSPT的情况下,利用屏幕作为光源,正面相机是最便利的,因为它可以产生CSPT测量没有任何额外的样品持有人或光偏转器。

考虑设置只是一个手以其持有的手机屏幕指向一个传感装置和运行软件,更改颜色屏幕同时捕捉图像的样本。

在这部作品中,样本是一个颜色数组,可以复制和印刷颜色的RGB规范。而不是化学传感阵列,打印数组可以解开的性能测量设置响应的最终传感元素,从而允许更精确的评估平台。

为了系统地研究测量配置中,我们使用一个简单的机械站重新考虑测量条件和允许控制屏幕样本距离(z在图2(一个))以及样本之间的对齐和手机的屏幕。

(一)
(一)
(b)
(b)
图2
目的(a)测量配置,手机屏幕由手的传感设备。详细的传感器布局用于测试系统的识别能力和细节的对齐。捕获的图像(b)的例子使用图像集中(IC)和动态中心(DC)排列 z = 95年 mm所看到的一个快照收购和视频模式(视场标有虚线广场)。

因为屏幕和摄像头的位置不对称(图2(一个)),均匀照明条件不配合的最佳检测条件,更短的情况变得紧张z然而,距离,照明更强烈。因此,这些不同变量之间必须达成的妥协。

我们在这工作比较两种可能的排列。在一个案例中,样本集中的形象在捕获的图像(图像定心,IC),而在第二种情况下样本集中在屏幕上,在捕获的图像。因为这对不同距离对齐各不相同,我们称之为替代动态中心(DC)。

CSPT样本的光谱指纹图谱实验通常是一组化学指标改变其光谱特性在接触目标环境(2]。测量可以评估传播(2],发出[2,7,10),或反射的光11),在目前的情况下,反射光是最方便的选择配置。

这是歧视的能力,在这种情况下样品的光谱相对于红光,用于评估在这种实验。类似于快速测试的目视检查,参考浓度,用颜色与颜色标签比较开发的测试条(11)在曝光,CSPT可以自动执行这些评估。因此,这个平台的能力区分不同的光谱相对于红光,决定系统的化学传感功能,是我们目前的调查研究。因此,样品打印布局显示颜色的最大可能范围可以在化学敏感reflectometric条。这包括纯颜色的色调(最大饱和度)覆盖可见光谱兼容CSPT [17),同样的颜色在降低饱和度和明度降低,如所描述的HSV颜色模型(18]。

主要并发因素的设计示例布局是其物理尺寸和数量或传感和/或参考地区,可以纳入设备。在传统CSPT平台,使用显微结构布局数百地区下降到100 米直径可以可视化19,20.]。在目前简单的设置中,我们测试相机分辨率的局限性和照明功能和一个示例布局,包含36个地区(2.5×2.5毫米地区6 6 ROI数组)15×15毫米2总面积(图2(一个))。样地捕获的图像对集成电路和直流比对图所示2 (b)下一节讨论。

2.2。软件和处理

诺基亚6220经典是一个S-60平台在塞班操作系统,这是与Java ME MIDP 2.0兼容。

软件控制照明序列(序列的颜色显示在屏幕上),收购是用Java编写的我21净bean IDE,一个开源集成开发环境。

在手机屏幕上显示颜色序列可以使用标准函数来实现Java ME;然而,即使基本相机控制,比如拍摄快照在自动曝光模式下,需要扩展库如jsr - 234 (22]。jsr - 234提示执行通知的使用图书馆和需要是的/不输入,从而使它不适合多个图像的自动采集。

替代解决方案,我们需要实现一个提示,发射一个固定长度的视频采集,在后台运行的画布显示照明序列。测量的结果是一个176×144像素帧,h压缩3 gp文件获得15 fps。这不到400 kb数据集适用于对数据传输到远程站点评价的类型描述下面,并且不需要依靠手机本身的处理。

Java ME的控制相机的能力有所不同品牌的手机和不直接相关的类别设备。

在Matlab环境下进行数据分析2008 b,我们先前获得的视频文件转换成176 144像素帧,帧压缩的avi文件使用Mpeg-Stream 1.9.2 Macintosh。

avi文件被加载在Matlab分析照明概况和网格程序定义感兴趣的区域(ROI),用于组合光谱指纹的ROI沿着照明序列(2,8,11,13)和分类的指纹使用主成分分析(23(统计工具箱)。

3所示。结果与讨论

在无处不在的传感范式中化学传感功能应该与平台的最初目的共存,因此永久修改的设备是不能接受的。因此,整个测量策略必须适应这些需求进行谈判。

这种方法的一个例子是引用嵌入在传感器的公司,所以,每个测量的校准自动执行11),而不是假设CSPT之间足够稳定操作平台定期校准。这种类型的测试的评估包括自动传感领域的比较和参考区域。

其他传感系统将校准解决方案,并行运行的评价目标样本(8]。

超出一定程度的控制,无处不在的平台需求专门司机或多个入侵硬件访问(5)进行测量,使得他们更有吸引力,因为这限制了宇宙共存与原设备和限制的兼容的平台。因此,重要的是要描述这些技术对于一个现实的高级别的控制,而不是专用的配置。出于这个原因,我们开发的软件收购处于自动曝光模式,而不是更多的分析手动曝光条件或在拜耳模式(nonprocessed图像获得直接从图像传感器读出)。这个选择使软件更跨平台兼容,本质上与任何手机Java ME的能力和合适的jsr - 234,和简化了用户交互,因为没有必要配置相机曝光。

CSPT指纹识别的一个关键方面,控制照明的使用,并不是问题,因为设计显示了提供任意内容。因此,屏幕可以用来生产2 d micropositioned和脉冲光源(24),或与不同的光谱照射光芒,如在目前的情况下(图1 (b))。

正如上面提到的,关键是确定CSPT指纹可以在这里提出的条件,因为这些是那些真正的手机兼容共存。

为了研究样本之间的距离的影响和手机,其校准和环境光照的影响,手机和示例布局举行控制距离。

图2 (b)显示了两个15×15毫米的图像2区(示例布局一样)在集成电路和直流比对使用快照和视频采集。为了证实校准和确定我们设置的视角,我们的形象在这种情况下,15×15毫米2在后台区域和一面镜子。

可以观察的视野减少视频采集(冲方块图2 (b))与快照模式。描述这些条件是找到最好的核心配置CSPT测量手机。

图3(一个)沿着线aa的收集强度资料,显示插图中,七个不同z距离55到175毫米。直流和IC平面图显示在红色和绿色,分别和测量在一个遮光罩,这限制了手机屏幕照明。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图3
(a)强度资料隔绝环境光和测量在aa的线 z = 55 、75、95、115、135、155和175毫米。直流对齐显示在绿色阅读和集成电路。(b)同上的(a)但bb的线。(c)同上的(一个),但与额外的环境光。(d)同上的(b),但额外的环境光。

这些概要文件(图的长度3(一个))增长下降z,由于样地占据了更多的图像进一步与摄像机之间的距离。它也可以观察到,在集成电路的最大强度不发生最短z,但是,但是,在115毫米。这是屏幕和探测器的非对称分布的结果对相机(直流部分补偿),而且由于使用的自动曝光图像采集。为了中心样地内捕获的图像,在IC对齐,样本地区必须流离失所的照明区域,因此,不仅最大强度降低而且强度分布恶化,这显示了11%的变异z 55毫米。在直流情况下,样本地区总是正确地照亮,但在较短的距离的一部分样本地区出口不佳的视场和一个更大的部分照亮背景进入作文,这自然会影响使用的计量自动曝光。

总体强度的差异在集成电路和直流的后果样本区域中心,因为在集成电路主要用于自动曝光的计量,在直流样本图像中区域不是垂直居中,与照明,以保持一致的,在这些实验中,使用的黑色背景,诱导提高曝光。

图3 (b)对应于强度沿着bb的概要文件。在这个方向不断恶化的照明在集成电路,减少 更加明显,达到30%的变异 毫米。直流概要文件更加稳定和健壮的不同 ,而强度水平一样的图3(一个)自动曝光,因为计量是在图像的面积。

一个相关方面的性能检测、嵌入式的表征,色差和渐晕效应的贡献,预计将在lens-image边缘更严重。分析了测量条件反映在概要图3占渐晕效应,而平均色差可以控制ROI内避免样品边缘。

除了对齐,实际使用的主要的因素是环境光照的影响。常规CSPT测量发生在一个遮光罩,限制所有照明提供的屏幕,然而,对于这里提出的系统等,缺乏一个样品持有人或遮光罩,另一种是测量在一个黑暗的房间里,,不得提供相同级别的隔离。

数据3 (c)和3 (d)之前是相同类型的特征讨论了但环境照明的公司( 600 lm /米2提供的2飞利浦TLD 36 w / 33,大约10:1相对于屏幕的~ 300尼特)。它可以观察到,环境照明部分正确的IC强度的变化资料,特别是在bb的方向(从30%到5%的变异),同时平衡强度水平不同 。整体水平仍与那些没有环境光强度。

总之,直流显示更均匀的概要文件和一个更加健壮的行为与环境光,虽然z< 75 mm强度水平非常接近饱和(255项),和对歧视的影响能力仍有待确定。

最后的边界条件我们需要把这种分析,并部分定义的范围进行了研究z距离,样本的大小面积和最大数量的不同的条件,可以识别和幽灵似地指纹在这些区域。

我们使用一个15×15毫米2总样本面积,适合一些保证金,在大多数电话显示。大样本地区可以得到适当的照明使用大屏幕显示或形式的距离增加,但这也限制了宇宙的潜在CSPT平台和它超越标准的手机。

对于一个给定的总面积和测量距离,产生一个有意义的最小数量的像素光谱指纹的次区域范围分区单元的数量。因此,对于评估定义的样地 毫米,它提供了一个可接受的妥协照明和检测质量,对应于36个地区,它们中的每一个由25个像素获得图像。

示例布局用于确定光谱指纹在这些条件详细图2(一个)它涵盖了可见光谱的色彩饱和、不饱和和降低明度音调,如实验部分所述。

图4(一)显示了这个示例布局为特定照明的颜色,而上覆白色方块显示选中的roi的位置。Matlab程序收集,为每个像素在每个ROI,不同光照下的强度变化。中捕获的总信息测量提出了右边的图,视频在哪里重新安排为彩色图片的集合为每个不同光照下ROI。自从视频采集率(15 fps)大于颜色改变(照明),几帧捕获每个照明的颜色。捕获的强度为每一个常数照明颜色的变化是由于响应时间的自动曝光控制,以这种方式,这些动态范围变化融入每个ROI的签名。

(一)
(一)
(b)集成电路。
(b)集成电路。
(c)集成电路+环境光。
(c)集成电路+环境光。
(d)。
(d)。
(e)直流+环境光。
(e)直流+环境光。
图4
的(a)表示测量结果与多个真彩色视频序列帧下获得不同颜色的灯饰。第一帧的白色区域的实际36 roi提取光谱指纹。指纹是图片的信息列在右边,展开的红色,绿色和蓝色的组件。(b)主成分2 d分数的情节指纹IC每个ROI内所有像素的对齐没有环境光。分数对应的颜色的颜色ROI的传感器布局。(c)同上的(b),但额外的环境照明。(d)同上的为直流(b),但对齐。(e)同上的(d)但是环境照明。

因为图像如图4(一)是彩色图像,信息自然展开的红色,绿色和蓝色的相机带,所以三为每个像素强度产生签名。CSPT指纹然后连接这些红色,绿色和蓝色强度签名(我R(我),我G(我),我B(我每个像素的) 在哪里 探测器的光谱响应, , 和 光谱窗口的红色,绿色和蓝色的相机渠道和 是框架的指数,它是与每个光谱辐射吗 屏幕发出的特定照明颜色指定权重的三联体( , , ),对于一个给定的屏幕γ( )。

为了比较指纹,我们使用主成分(PC)分析(23),一个多元分析技术,使这些指纹转换成成绩在二维电脑空间,解释了超过90%的原始信息。这些分数之间的分离,他们聚集在一起的方式是指示性的差异和比喻被指纹。

图4 (b)显示了IC比分情节没有环境照明条件。所有参与每个像素ROI进行分类(而不是使用每个ROI的平均值),为了观察分散对应于同一次区域的指纹,它提供了一个分类的准确性。分散的集群有更多的机会到集群重叠的一个邻居,恶化的能力区分不同类别。分数对应相同的ROI策划有相同的颜色(对应地区样品的颜色布局)和周围黑色圆圈。蓝色ROI 25相应分数显示放大说明集群内的色散。

图4 (b)显示了不同颜色之间的良好分离,这自然恶化对不饱和色调(最低饱和度的限制都是白色),同样对降低明度(黑在极端条件下)。适度不饱和色调,适度的反应比漆黑的音调,可以观察到集群之间的距离越近,连一个重叠的集群(1图表示4 (b))而没有重叠的适度黑暗的roi。

强劲不饱和现象有一个较小的空间变异性比强大的黑暗可以解释为高强度值的平衡效果,接近最大强度,以低强度比贫穷的信噪比。

图4 (c)显示了IC PC情节对齐下额外的环境照明。分开不同的纯颜色还好,但饱和度的变化影响的能力不同的类别以前确认(2图4 (c))。相同的趋势,更好的性能比不饱和的颜色是深色调与环境光条件。再次,白色比黑色的更分散的区域。

在直流的情况下没有环境光,不同的颜色分开(图4 (d)),有一个大的重量PC2坐标(28%)相比,集成电路(18%和12%)。纯色调在PC1相隔更远,而对于IC的情况有一个更清晰的识别颜色(PC2)垂直于强度(PC1)。

既有利差在黑暗与不饱和区域,但这些分数不过其余的区域分开。

最后,不同地区之间的分离严重恶化的情况下直流与环境光(图4 (e))。原因是由于过度曝光强度饱和,和歧视的后果是失去的除了极端的范围,它主要是一个强度的识别。总的来说,结果表明,CSPT指纹识别实验可以进行一个标准的手机在最苛刻的条件下测量,实际上是那些简化操作(自动曝光,没有样品架,正面摄像头在视频模式,等等),从而最大化的兼容的平台。如前所述,并非所有手机品牌完全支持相机控制在Java中,尽管Java兼容性是扩大并变得无处不在。关于手机之间的物理变化,可以认为它将影响CSPT决定相同的方式变化在传统CSPT平台。然而,可想而知会嵌入引用的测量在古典CSPT用来抵消这方面(11手机)也将工作,因为两个系统共享相同的原则。在混凝土中,这项工作表明,至少它可以执行CSPT指纹与一种类型的手机,这构成了第一步的发展的概念。

在这项工作,执行的特征表明,直流对齐优越,如果测量可以实现在一个黑暗的房间,也许不是一个严重的限制,特别是如果测量时间可以短至几秒钟。在这项工作中,我们不关心收购时间短,但对于一个照明7颜色显示在5帧序列(标准手机可以显示视频15 fps),与视频采集15 fps(帧间的67 ms)总测量时间可能短1.4 s。

与环境光的存在直流对齐的优势消失。主要原因是强度饱和由于缺乏控制相机曝光。更高级的控制相机曝光也许是最诱人的选择,然而,正如前面所讨论的那样,还将限制跨不同平台的兼容性。因此,它可能是一个限制在屏幕的环境光和调制照明(如屏幕颜色分布)最方便的选择。在目前的阶段,如果无法在阴湿的测量直流对齐 mm提供了一个可行的选择和一个可接受的性能。

4所示。结论

它已经表明,平均移动电话可以作为CSPT光谱指纹的平台,在操作中最通用的Java资源。

小区域的定位方面研究了屏幕和手机摄像头,显示不同的可行的替代测量在黑暗和额外的环境照明。

0.16区域/毫米2可以评估在研究条件下,总样本面积15×15毫米吗2,一个维度与评价大多数标准兼容的手机。

光谱指纹与传统CSPT平台已经使用了不同的化学传感应用程序包括一次性气敏阵列(2),对食物的气味传感监控(25),评估ELISA检测诊断(26),和商业尿液检测的评价11),等等。这里演示的光谱指纹识别功能是一个重要的第一步,这些应用程序迁移到手机。