文摘

快速响应QR条码检测nonarbitrary环境中仍然是一个挑战性的任务,尽管许多现有的应用程序寻找二维符号。最近对二维码应用的主要缺点是旋转和扭曲的低性能检测单个或多个符号与变量照明和图像噪声的存在。在本文中,一个特定的解决方案提出了二维码检测不受控制的环境中。提案在于识别二维码的几何特性使用二进制大对象(BLOB)基础与后续迭代滤波算法QR符号位置检测模式,不需要复杂的处理和训练的分类器通常用于这些目的。精度高和速度是通过自适应阈值二值化图像的积分。与著名的扫描仪,失败与媒介强有力的模糊检测二维码,重要的非均匀照明,相当大的变形,象征、喧哗,拟议的技术提供高识别率80% - -100%的速度实时应用程序兼容。特别是,速度从200毫秒到800毫秒每单个或多个二维码同时检测在图像分辨率640×480到4080×2720,分别。

1。介绍

快速反应(QR)编码是广泛用于跟踪标记为工业和商业产品,广告和营销,销售商品,识别名片,银行账户,移民邮票,邮寄,虚拟商店,和娱乐,一般来说,在许多情况下,任何对象的共享信息是必需的。可穿戴的和无处不在的智能手机的发展,二维码扫描仪可以随时随地提供快速高密度数据存储和检索的数据,基于多个简单几何形状的安排一个固定的空间。很便宜、可靠和安全的方式,包括对象的信息,可以利用增强现实和混合系统的计算能力要求较低。2015年2月以来,二维码是由ISO / IEC标准18004:2015澄清之前4标准(1997 - 2006)和包含详细的信息自动识别,数据捕获技术和QR象征现代版本的规范(1]。

似乎存在一个隐性假设二维码检测和识别问题已经解决。然而,知名的应用程序仍然缺乏精度高、二维码拍摄时经常不受控制的环境中软弱和不均匀光照下,变形显著象征,旋转,闭塞,喧哗,失真由于视角。此外的检测和识别二维码成为更具挑战性,当多个符号出现在一个给定的场景。

大部分可用的商业应用二维码识别非常有效的处理只有高质量的图像,有时轻微的倾斜和扭曲象征。不幸的是,符号旋转和缩放不变性是由用户通过手动调整和解决框架以及与低对比度同时处理多个二维码,变量照明,和重大失真仍然是开放的问题2- - - - - -5]。

二维码的标准结构确保兼容性的信息存储和识别。在图1,用于二维码的基本控制模式检测。为了提高二维码扫描仪的性能,在本文中,一个特别注意符号检测和校准使用初期位置检测模式(PDP)环绕分隔符位置检测模式(SPDP) [1,6,7]。因此,QR象征,位于三个角落PDP-SPDP模式用于检测二维码图像的位置和姿态。

校准和计时模式作为标记点,以识别和扫描二维码。二进制数据编码和纠错码字作为一组白色和黑色小方块放入灰色为简单起见(见图中描述1)。

本文的主要目的是提高最重要的单个和多个二维码识别和定位的过程与变量照明,图像存在噪声,严重扭曲的QR符号。二维码的特定任务内容分析不考虑。后发现二维码的位置和姿态形象,任何标准算法可以用于数据解码包括必要时Reed-Solomon纠错(1,7]。为了加快发现和对齐的QR码,只有三个发现模式将被处理,减少检测过程的复杂性和提供高精度的识别多个QR符号图像捕获的不受控制的环境中。此外,白色four-module-wide安静区(保证金)各方的象征与背景分离不需要建议的方法。

剩下的论文结构如下。首先,概述二维码检测的最新进展和发展趋势,提出了处理和识别。然后,之后介绍了方法,集成现有的和新颖的二维码识别和定位技术,提出了一种新颖的方法和讨论。基于多个测试结果与特别设计的框架,评估方法的功能和能力来识别单个和多个二维码在不断变化的环境条件。最后,一个关键的讨论建议的方法的性能,其最近报道的方法相比,贡献,和未来的工作。

2。现代二维码探测和识别的技术

检测二维码的基本标准过程包括几个步骤。是很重要的选择更精确的关键步骤和分析现有的技术困难二维码检测、定位和识别。这些信息将用于小说建议寻找现代二维码处理工具的性能改进。

像往常一样,第一步在于每种颜色像素强度映射到更合适的数组。因此,这个映射的功能包括图像大小归一化、对比度增强、降噪、伪彩色图像生成灰度或积分,局部或全局图像特征提取在空间、频率、或其他领域8- - - - - -10]。在这一步中,特定的图像预处理技术的选择决定了预期的复杂性二维码扫描仪的精度和速度检测和识别标志。因为二维码由白色背景上的黑色方块,所捕获的图像的二值化代码扫描器需要快速符号处理。这一步直接定义符号检测和分析的准确性。因为QR处理工具将在不受控制的条件下,必须对光照变化不变的二值化方法和非敏感噪声。尽管有许多高性能图像处理技术来解决这个问题,现代二维码扫描仪仍然失败在检测和模糊的解释,低对比,明显不均匀照明符号(2,5,10- - - - - -12]。

下一步是找到位置检测模式PDP的二维码,对齐,象征和修正扭曲,实际上是由符号旋转,偏态,斜坡或闭塞。不幸的是,现代商业应用程序用于二维码识别缺乏自动检测旋转符号(符号必须手动陷害),他们甚至失败时轻微变形的QR象征维度提出了(13- - - - - -16]。这个问题的解决方案是一个具有挑战性的任务,应该改善现有设备进行二维码处理。最后,存储在二维码信息的解码和可视化提供了通过使用Reed-Solomon纠错程序,支持精确的数据识别即使7%,15%,25%或30%的象征被损坏(7,17,18]。

如今,二维码最广泛使用的方法检测和识别可以分为知识,特性不变,模板匹配和外貌的方法。第一组的这些方法包括基于降维方法,考虑的是整个实体和试图定位它的核心组件。使用形式进行知识表示和推理的复杂问题的解决方案提高了准确性,回忆,这些方法的增加速度。在控制条件下,他们提供良好的结果,但它们往往是敏感的旋转和缩放,以及需要一个结构化的环境(10,19,20.]。

第二组的技术使用本地单像素或小区域的特征(颜色、渐变、灰度值、维度、质地、等)不变的改变照明、噪音、规模、方向、和观察方向的变化提供健壮的模式识别在不同条件下。这些技术被称为尺度不变特征变换(筛选),不同的高斯点(狗),基于熵的凸区域检测器(EBSR),哈里斯和苏珊角落探测器,基于强度和边缘地区,基于梯度的算法等。经常然而,这些方法的计算复杂度太高了在实时应用中,一般来说,理想的地方特色的独特的性质不能由于自己简单的功能(9,21,22]。

模板匹配技术包括预定义的模板与图像的相似性评价区域在翻译的模板图像所有可能的位置。如果测试区域和模板之间的相关性是足够大,那么探测器返回一个确切的位置区域内感兴趣的一个图像形状和定位类似于模板的描述(2,23]。各种正式的指标通常用于找到感兴趣的区域的位置到形象。最受欢迎的定量相似措施绝对差异(SAD)的总和,差的平方和(SSD)和归一化互相关(NCC)。悲伤和SSD不需要复杂的计算提供快速和简单的模板搜索过程。然而,对于这些措施,一些耐变形等因素,鲁棒性对噪音、模板匹配的可行性在图像失真,和其他因素必须被考虑,因为他们在模板遮挡和变化很敏感。另一方面,NCC测量更准确和健壮的非均匀光照下图像,但它远低于之前的方法在匹配过程中,它需要高计算的努力如果穷举搜索应用23- - - - - -25]。

集团内的外貌的对象识别方法只使用模式的外表,它通常是被不同的二维视图,测试模式。在一些科学报告当地和全球外貌的方法是有区别的。当地的方法用于处理感兴趣的区域的特征,边缘,和形状,而全球方法使用颜色,熵,时刻,有时语义,以正式的方式可能是所描述的特征描述符或向量(26,27]。获得特征向量比较描述符之前预处理的图像识别和分类过程中。在当地的方法相比,全球方法变换整个输入图像到一个合适的低维数据集不需要复杂而耗时的处理。全球外貌的方法中著名的和广泛使用的技术不同,从简单的基于直方图统计的更复杂的降维方法,如主成分分析(PCA)或Karhunen-Loeve转换(KLT),独立分量分析(ICA)和非负矩阵分解(NMF)。虽然在全球方法,图像结构信息可以在更合适的和简单的建模和加工方式,多维数据集的编码规模明显扩大,所需的迭代训练和评估流程限制使用这些方法在实时应用程序26,28,29日]。

考虑到提到现代高效的模式识别分类方法,以下最近和相关科学报告的分析QR码是有区别的。QR符号检测的常用方法之一是分析的基础上定期component-connected地区任意获得图像使用像素强度作为鉴别器搜索尤其是QR位置检测模式(pdp) [2,8,9]。然后每个连通区域标记使用几何限制检测组件中找到三个角落pdp的存在。例如,Belussi和他在8报告的检出率达到90%左右速度与实时应用程序兼容。

二维码检测的准确性主要取决于质量的二值化的过程。为了提供非均匀光照不变性的二值化,统计决策的大津阈值方法是广泛使用的13,30.]。例如,顾和张(13]提出的快速方法,提供了QR符号检测的几何校正倾斜和取向与可变光照图像。识别率取决于使用二值化和特征提取技术。利用大津的方法,这种方法的识别率达到90%的平均时间大约6 ms,而双峰直方图方法保证识别率约80%。慢得多是代码探测器使用遗传算法实现的平均时间大约20 ms和自适应阈值方法需要220 ms (10,13]。

事实上,基于处理图像直方图的方法经常用于特征提取。例如,Ciazynski和Fabijanska [31日)提出利用二维码的参考和输入图像之间的相关性。首先,一个图像分为块用于构建二进制的地图区域相似和不同的二维码的直方图。最后,应用于二进制形态学操作地图识别二维码图像中不同的照明条件下,分辨率,符号几何失真和取向。识别率达到82%,所需的平均时间800毫秒的明显取决于照明标志和方向。

最近的一些方法利用著名的组合方法主要目的增加识别率和处理速度。例如,香港在15]介绍了QR符号的检测算法应用透视校正畸变。高识别率达到88.5%,使用局部阈值二值化方法和凸包算法寻找和象征,运用哈里斯角落检测形态学滤波,提取轮廓的代码提供了方向和角度校正的象征。

Waghmode和Chhajed [32]提出有趣的解决方案治疗的低分辨率的图像从移动相机,二维码在哪里受到噪声的影响,不均匀的照明,和失真。为了调整由于扭曲的角度来看,逆透视变换之前应用二值化,然后利用动态窗口显示的方法。它提供了检测对象的不同大小和不均匀照明100%的识别率。不幸的是,没有精确的规格进行测试等实体化的二维码检测和识别的准确性。

由于标准几何的二维码,最受欢迎的霍夫变换方法符号检测(11,30.]。例如,赵等人在33)建议使用霍夫变换和索贝尔算子提取边缘,找到二维码。接下来,空间转换到正确的图像失真,实现精确的识别约98.57%的平均时间等于38女士。同样,周等人的建议(34]在于定位和分割的QR码Hough变换,应用一个卷积神经网络用于符号识别与模糊图像,旋转,和不均匀照明达到正确检出率约95.2%。更类似于建议的方法,在本文中,它由基于霍夫变换的多级分类器,提高了二维码的检测仅依赖的几何符号及其确定的属性不使用复杂的过滤器(28]。它的主要优点是能够检测多个随机QR码的地方在任意位置和旋转积分图像正确检出率至少95%平均识别时间大约100 ms。

一般来说,大多数提到的评估方法检测和识别二维码以足够高的准确性和速度较低的障碍在受控环境。中强大的模糊,但是,他们并没有显著的非均匀照明,变形、象征、喧哗和同时检测多个QR符号形象仍然是开放的问题。

3所示。提出了QR码检测方法

设计高效二维码的方法检测和识别方法,建立了必要的技术需求的定义,使用适用性评估以前的分析模式识别方法以及考虑到预期的概念和实际贡献。主要目标是找到PDP(位置检测模式)到SPDP(分离器用于位置检测模式)在二维码图像(见图1),速度和精度高,即使QR符号可能会旋转,部分闭塞,扭曲(角度),或影响低,非均匀光照和噪声控制的环境。建议的解决方案由一代的地区称为二进制大对象(blob) 8连接像素。然后BLOB迭代滤波应用于去除这些地区没有几何相似PDP SPDP标准的二维码。该方法中描述四个步骤介绍如下。

一步意味着图像预处理、二值化和斑点生成,然后用于二维码搜索根据框图如图2。输入图像缩放尺寸640×480(由于精度和处理速度)之间的一个可接受的妥协,然后总结面积表(积分图像)是生成在一个经过根据灰度图像 总结区域表代表图像累积多维概率分布函数用于计算一些功能,例如,当地的意思,方差或Haar-based特征检测所需的特定地区的利益。处理积分图像的优点是高速的评估对任何矩形区域像素强度使用只有四个数组引用,矩形的角落。

灰度图像的二值化是根据提供的(2),应用积分图像的自适应阈值大小的面具13×13适合所选图像大小为640×480。如果评估的价值点的整体形象 等于或大于 当地的均值 值13×13面具下,白色的像素 在这一点的位置生成;否则一个像素是黑色背景的一部分。

的系数限制的白色像素的数量形式连接组件(blob)。只有2%的点值积分最高的形象已经接受生成相关的blob用于特定任务的二维码检测。与自适应阈值二值化是非常有效的灰度图像低对比度和弱和不均匀照明以及噪声的存在(35]。然后每个地区8连接形成的白色像素的随机颜色分配给一个形成图像的彩色斑点。每一个BLOB现在可以包含定义的最小不旋转矩形左上角和右下角的角落。所有集合的列表及其对应的矩形存储在周围BlobList。

程序是用于过滤后与周围的矩形特别是斑点,类似于广场。所以,去除矩形高度/宽度不等于1的关系是由密度和比定义为使用BLOB特性

根据经验选择的限制密度<0.25和比< 0.15保证过滤气泡将广场连接组件可能类似于二维码pdp即使这些模式可以旋转或观点。在图3,结果显示所描述的应用程序。

最后一个重要的过程步骤1是订购在决赛中斑点squareBlobList根据特定的BLOB质心的距离增加(矩形的中心围绕一个BLOB)从起源二进制图像坐标。

一步用于查找气泡组具有类似的质心位置。之后,他们将被用来选择搜索周围区域类似于SPDPs pdp二维码(见图所示1)。特定的顺序的斑点squareBlobList安排通过增加BLOB质心之间的距离和图像来源用于减少和相似距离通过应用分组团吗

斑点,也有类似的质心位置,对应情况小团成大团PDP谎言SPDP在于二维码。方程(4)组织团类似的质心和删除单个气泡。第二步选择组的最后过程气泡与类似的质心位置和标签,这是最大的和最小的BLOB比较宽。集团的blob下令从最大的到最小的一个。在图4分组算法的框图斑点相似的重心。

一步返回组斑点与他们相似的距离原点;然而,现在只有团体的斑点周围其他的必须选择。因此,第三步是用来发现,只有这些团体的斑点与重心位置,小团包围的一个或多个大大小的斑点。解决这个问题的方法是通过计算比率之间的黑色/白色/黑色/白色/黑色的红线部分通过取景器中心模式如图5(一个)。对于任何二维码,线部分之间的比例大致相同(1:1:3:1:1),不依赖于角线,穿过PDP-SPDP集团(7]。另一种方法用于打开简历由2 d多边形检测的应用比定理和二维码的识别三个嵌套的轮廓模式(36]。然后每个多边形是由四个角测量周长上的每个点之间的距离和模式的中心。为了加快PDP识别过程算法,最大团的尺寸,最小的是定义的三个角落,B和C,如图5 (b)。最简单的方法来选择组blob类似于PDP SPDP是限制区域,发现小斑点可能是水平线之间的坐标 和 垂直线与坐标 和 最大的BLOB。

算法评估可能的位移较小的BLOB嵌套成大点的坐标定义的行 , , , 呈现在图6。

为了选择一双两团类似于PDP SPDP,评估他们的宽度的关系(见图5 (b)和6)。此外,确保内部团都是和外部周围斑点看起来像框,他们密度特性计算(连接像素的blob) /(宽度×高度)。最后,Inner-BlobList(组发现pdp)生成。

然而,应用前三步骤与二维码图片,超过三个嵌套PDP斑点具有类似特征可能被发现。因此,在步骤4中,图中给出的算法7过滤器只有三个PDP blob二维码所需检测。(用于过滤计算的特性5),平均大小avgSize 每一个的气泡从Inner-BlobList和平均的avgSize 给sizeMean。这个想法是为了找到BLOB的尺寸偏差avgSize 关于sizeMean与几何定义的限制标准的二维码。所以,下限是作为最小的BLOB的平均大小minavgSize =最小值avgSize 上限是平均规模最大的BLOBmaxavgSize =马克斯avgSize 。

如果avgSize BLOB不躺到有限范围的大小偏差算法图所示7删除,BLOB。由此产生的PDP-BlobList包含三个pdp下令原点的距离。在图8,一些应用的例子描述了该算法的步骤提出了PDP检测。一定要提到的方法检测pdp不变的旋转和扭曲。

为了检测定位二维码基于三个pdp发现,提出了下列程序。与复杂的技术用于著名的系统代码检测(7,10,14,16,36),pdp中心之间的线段的长度和AB,交流,和BC段,如图9(一个)。最短的部分(例如,A-MidBC)表明,PDP对应角为90°的角落。许多应用程序可视化检测矩形三角形,设计应用程序的建议的方法,发现三角形也提供信息显示三个检测到pdp中描述的数据9 (b)和9 (c)。

该方法可以找到几个分离的QR码图像即使它们旋转或角度。如果QR码太接近对方,算法可能无法区分它们。详细的评估建议的方法是在下一小节中介绍。

4所示。结果与讨论

为了评估建议的方法,各种实验进行设计应用程序(框架),其图形用户界面如图10。界面可视化结果应用该算法在每四个步骤,最后显示检测到二维码SPDPs pdp。核心部分的接口,应用特定步骤的结果并给出了建议的方法。例如,在图10步骤3后,发现blob描绘和获得Inner-BlobList显示在右边(BLOB数节)。信息输入处理图像和它的特性提出了界面的左边部分。

精度分析、敏感性、可变光照不变性,旋转模式,和失真包括图像噪声和模糊,特别是6套不同的测试都是在电脑上进行与核心3.3 GHz的双核处理器和4 GB的RAM。已经有超过200张图片是从网上收集,经常被用在科学报告生成数据集测试(2,37]。不幸的是,没有标准数据库均匀评价二维码扫描应用程序与之前类似的标记图像。这就是为什么不同作者使用适当的图像集合。

在第一组的测试中,方法检测只有一个完整的能力不变形二维码(大小至少25×25像素)在集中至少有70×70像素的图像有软恒照明没有旋转和角度进行了分析。正确的方法发现和检测100%的QR码图像。提到的方法不需要是很重要的选择和排列的二维码与特定的框架,在提供识别代码。

方法来检测图像中的模式的敏感性较弱或不均匀照明由效率定义应用于积分的使用自适应阈值二值化图像。在表1,进行测试的结果数据集包含200多个图像变量照明。每一列代表的形象显现(广义样品)的特定类类似的照明,相反,旋转、变形等缺陷。此外,二维码检出率平均每个类在整个数据集。

可以看出方法检测二维码图像的能力显著照明变化是非常高的。这种方法的另一个优点是高识别率的二维码与旋转和变形和框架的角度来看,只要SPDP没有休息。在表2,一些代表性的例子测试评价方法能够检测二维码的失真。

显然,更意想不到的该方法的优点是同时检测多个二维码。在表3,测试的结果与图像包含多个二维码。如果代码谎言太近,无法区分它们的方法。这是由于这样的事实,该方法没有被设计用于检测多个代码。这个问题可以解决周围的每一个二维码对应的矩形,这将限制内pdp的每个代码的列表。

一直在前面提到的,没有任何标准标记图像数据库评价知名或新的二维码检测申请。然而,为了比较该方法与现代相关应用程序的性能,进行了以下实验。他们包含在一个比较提出的功能和不同的商业应用程序来检测单个或多个二维码与旋转,扭曲和可变的照明。

结果在表恢复4,在第一行中使用的图像测试显示。在第二、第三和第四行,获得的结果通过使用商业二维码扫描仪。一般来说,大多数应用程序需要手动安装旋转QR码和所有的测试应用程序不能解决二维码与显著的扭曲或多个符号。

此外,时间检测的单个或多个二维码图像与不同维度评估。结果呈现在图11显示的检测时间QR符号之一的250 - 450毫秒范围图像尺寸从480×420到2048×1600,分别。几乎增加两倍的检测时间(740毫秒)所需的图像大小4080×2720。二维码检测时间分为积分图像生成的时间间隔,二值化,PDP检测(大约200毫秒)和图像缩放的时间间隔尺寸640×480在步骤1的建议的方法(这取决于原始输入图像的大小)。之间没有显著差异在检测时间一个或多个QR符号。检测时间的增加两个,三个,甚至更多二维码大约是5%额外的象征。设计应用程序基于平均需要的建议的方法0.5年代检测的单个或多个QR符号是非常合理的时间为人类所使用的二维码扫描仪快速数据存储和检索。

拟议的二进制大对象的算法可能是有用的在许多应用程序中,需要识别的几何图案。例如,2 d几何图案可能被视为特殊的纹理,其中包含2 d网格的纹理基元(即很容易被认出来。,在二维码PDP)。使用该方法,一些实验已经进行了微软Texture2D资源协会(组2 d网格模式)与微软XNA框架内容的3 d模型管道生成3 d场景的开发游戏的一部分或生成增强现实对象(38]。在识别一个特定的模式,例如,如图12(一)或12(b),选中的3 d模型(参见图相关联12(c),12(d)12(e))。该算法识别几何图案的能力存在显著变化的照明,偏态、旋转和变形保证正确协会3 d对象的模式在不同的位置。

5。结论

本文提出了一些进步扩大二维码实时检测应用程序的传统方法。本文的概念的贡献在于发展精确和快速识别的方法单一和多个二维码图像捕获在不受控制的环境中,媒介强有力的模糊、喧哗,重要的非均匀照明,和相当大的符号变形。考虑的优势快速和低计算复杂度的积分图像处理,建议的方法,累积多维概率分布函数用于计算图像局部特性,定义感兴趣的特定区域。由于二值化定义一个质量的图像特征提取、自适应阈值应用于积分图像对比度较低,存在噪音,和软弱和不均匀的照明,提供非常有效的映射像素强度适当的一维数组。为了检测和识别二维码在不受控制的观察条件下,基于二进制大对象(BLOB)——的算法。生成气泡8连接区域形象的兴趣被后续的迭代过程过滤只留下这样的模式,代表标准二维码符号。这保证正确的QR码检测,即使QR符号可能会旋转,部分闭塞,畸形,倾斜的角度来看,或受到照明障碍和噪音的影响。因此,处理当地二维码的几何特性,该方法实现了识别率从80%到100%对图像与低或多样化的不受控制的环境中获得高分辨率和代码的速度检测实时应用程序兼容。未来工作需要扩展的建议的方法,提高速度和精度二维码检测特别,当多个QR符号有相当大的变形和遮挡有重大不均匀光照和噪声的图像,经常发生在实时二维码扫描通过移动设备。从实用的角度,本文的贡献提出了单个和多个二维码BLOB-based方法检测,可作为有前途的框架为开发新型高性能系统2 d模式的识别。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究部分由欧洲授予欧盟FP7人国税局:之下云Computing-Based对节能制造系统咨询服务。