文摘
极地谐波转换(PHTs)应用于模式识别和图像分析。但目前计算PHTs框架有两个主要缺点。首先,可能会丢失一些重要的颜色信息,在传统彩色图像处理方法,因为他们是基于RGB分解或灰色的。第二,PHTs受到几何误差和数值积分错误,可以从图像重建错误。本文提出一种新颖的计算框架四元数极谐波转换(QPHTs),即准确QPHTs (AQPHTs)。第一,整体处理彩色图像,quaternion-based PHTs介绍了通过使用四元数的代数。其次,采用高斯数值积分的几何和数值错误减少。相比,美国有线电视新闻网(卷积神经网络)的方法(即。,VGG16) on the Oxford5K dataset, our AQPHT achieves better performance of scaling invariant representation. Moreover, when evaluated on standard image retrieval benchmarks, our AQPHT using smaller dimension of feature vector achieves comparable results with CNNs-based methods and outperforms the hand craft-based methods by 9.6% w.r.t mAP on the Holidays dataset.
1。介绍
旋转不变的时刻(车轮)广泛应用于图像表示和模式识别(1- - - - - -3),因为他们出色的能力和不变性描述属性。此外,钢圈不仅提供手工工艺特性的图像表示,也可以从这些手工艺品重建原始图像的特性,使其适用于图像水印(4- - - - - -6]。存在两种类型的轮圈:正交和非正交的。自正交轮圈(ORIMs)具有最小的信息冗余,从而更好的信息简洁,他们在性能是有效的。有几个低阶和转换的时刻能充分提取图像的基本特征。其中最受欢迎的ORIMs [7,8)泽尼克时刻(zm评选)和伪zm评选(PZMs)。Yap et al。9)最近推出了几ORITs,统称为PHTs,包括极地正弦变换(pst)极地余弦变换和国民保健和极地复指数变换(PCETs)。ORIMs不同于ORITs径向部分内核函数,多项式和正弦函数在ORIMs ORITs,分别。与ORIMs相比,PHTs更高效的计算(10]。此外,PHTs数值稳定的高阶变换,而那些ORIMs的数值不稳定。因此,PHTs ORIMs首选,最近被使用在许多图像处理应用程序。
特别是对于小尺寸图片,目前计算框架PHTs弱势的几何误差和数值积分错误,可以从图像重建错误,可见圆盘中心附近,甚至低的订单转换数值不稳定。广场图像映射到一个单位圆盘几何错误,会导致和零级近似集成总和将导致数值积分错误。准确PHTs非常重要在巨大的图像处理应用程序中,主要是在模板匹配使用小尺寸图像和光学字符识别问题。除了计算精度的问题,另一个问题是,ORIMs和ORITs主要专注于灰度图像,然而,随着计算机性能的持续改进,彩色图像吸引来自相关领域的研究者越来越多的关注,因为彩色图像可以提供更加丰富的信息与灰度图像。最当前的研究彩色图像的时刻取决于强度或单通道在彩色图像的颜色空间,信息和组件在一个特定的颜色空间之间的关系被丢弃。一些传统的正交和非正交的时刻已经发展成四元数的时刻,例如,四元数(QZMs)[泽尼克时刻2),四元数径向谐波傅里叶的时刻(QRHFM) [11),四元数极地谐波傅里叶的时刻(QPHFMs) [12),和四元数极地谐波转换(QPHTs) [13,14),虽然各种四元数图像正交的时刻提出的研究人员,他们中的大多数给不满意的图像重建性能。在目前的工作,准确的四元数的正交变换,即。、准确QPHTs (AQPHTs)。总之,创新的提出了AQPHTs包括以下几点:首先,利用四元数的代数,我们扩展PHTs彩色图像。其次,计算框架,它减少了几何误差和数值积分错误,提出了构造一个方法准确地计算PHTs。实验进行比较研究的性能在图像重建和图像检索AQPHT和其他ORIMs,结果现在,AQPHT最好的图像重建性能和极好的行为不变的图像表示,没有噪音。
本文组织如下。部分2介绍了四元数代数和PHTs。部分3描述了我们AQPHTs的计算框架。节4,该AQPHTs的有效性评估。部分5本研究的结论。
2。预赛
2.1。四元数代数
可以视为广义四元数复数。四元数的公式如下: 在哪里四元数表示,和 实部和虚部表示; , , ,和是实数, , ,和满足这些条件是复杂的运算符:
的共轭是 ,和大小= 。一个四元数 可以被认为是一个标量的结合部分 和一个向量 。
2.2。极地谐波变换
二维极地谐波转换一个n订单图片功能 ,重复 定义为 在哪里代表一个归一化因子 表示基函数的复共轭 。PCET, 和 是由 在哪里 。在PCT和太平洋标准时间,
定义PST和PCT的基函数,分别
PCET的总数 和 是 在哪里 。然而,PST和PCT较小数量的特性,这是 和 ,分别。
对于一个N×N形象,没有解析解积分方程(3),因此其零级近似是常用的,给出的 在哪里
我们执行反变换重构图像的功能。它是表达的 在哪里 , , ,和的最大和最小订单和重复PHTs,分别按照方程(3)。
3所示。准确QPHTs
3.1。QPHTs
在传统的处理方法中,彩色图像通常分为3个组件,每个组件分别由后续处理过程没有考虑到协会内部组件。但是,quaternion-based理论对彩色图像作为积分向量,每个组件之间的关系的反映。让 , ,和 表示颜色的红色、绿色和蓝色,分别,那么我们编码颜色像素 。像素可以被编码为一个纯粹的四元数:
因此,PHTs可以定义四元数的字段。彩色图像的多维特征可以通过变换中每种颜色的像素都被视为一个整体。由于非交换的四元数乘法,每个四元数转换有两种不同的形式。左侧四元数PCET定义如下: 在哪里代表一个纯粹的单位四元数 表示颜色的像素的四元数表示。 ,即。,the gray line in the RGB space is chosen in this work. By reversing the orders of images and transform kernels in equation (11),我们可以得到右QPCET:
彩色图像的重建通过左右的QPCET系数可以写成方程(13)和(14),分别为:
类似于QPCET,左和右QPCT可以被定义为方程(15)和(16),分别 所有因素被定义为在方程(5)。取代的径向分量方程(15)和(16), ,我们可以获得QPST。建设的彩色图像也可以通过使用QPCT和QPST系数。
我们注意到,QPHT在本文中是指左侧QPCET在方程(定义11),除非另有说明。
3.2。计算准确的QPHT
本节提供了一个计算框架来计算QPHTs,从而减少几何误差和数值积分错误。使用我们的方法,只有单位圆内的部分的像素被认为是。对于数值积分,我们重写方程(11),
我们假设图像的功能 是恒定在一个网格。QPHTs的计算精度可以通过计算增加了基函数的数值积分对于每一个网格, 在哪里
从方程(18)是通过使用评估一个 点高斯数值积分方法,可以简化为
的值和对于一个给定的可以通过使用标准程序(15]。对于一个快速参考,我们提供这些值在表1为= 1到8。约束方程(21)是一种改进的约束 在零级近似。
如果一个网格的中心落在单位圆外,这在计算网格将被完全忽略的零级近似。但在新的约束,网格计算中考虑如果其采样点落在单位圆内,即使落在单位圆的中心。改进的近似单位圆盘被观察到这个新的约束。这是一个伟大的贡献减少几何误差的数值积分方法和数值积分错误同时通过确保所有的采样点落在单位圆。我们发现,图像重建的性能改善我们增加的数量 ,但获得开始饱和= 6。因此,准确的计算实验QPHTs使用5×5采样点(例如,= 5),我们将作为一个权衡精度和速度的彩色图像。
3.3。AQPHT的几何不变性
在这里,我们将推导和分析AQPHTs的旋转和尺度不变的性质。
3.3.1。旋转不变性
让 表示图像 旋转的角度 。因此,左侧AQPHT 是 在哪里和的AQPHTs 和 ,分别。
因此,方程(21),我们知道,彩色图像的旋转一个角度引发一个相移的 。以规范双方的方程(17),我们有
因此,旋转不变量可以通过APHTs规范。换句话说,AQPHTs模量系数不变的是对图像旋转。
3.3.2。标度不变性
理论上,AQPHTs不不变的图像缩放,但缩放不变性可以获得的图像到一个单位圆正常化。如果一个图像 与 像素被映射到一个单位圆 与 和一个单位圆是由覆盖相同内容的图像,图像缩放AQPHTs是变体。
4所示。实验和分析
本节的目的是验证AQPHT不变量对彩色图像的有效性。实验使用MATLAB 8.6版本执行2.9 GHz处理器,8 GB RAM的电脑,和微软Windows 10旗舰操作系统。
4.1。实验尺度不变性
许多伟大的分类模型,例如,VGG [16]和ResNet [17),已经开发的强大的深度学习框架的基础上识别精度是惊人的,甚至高于人类。然而,性能是实现只对大尺寸的图像具有丰富的对象结构和高质量的外观。图像的分辨率与小尺寸低,这限制了歧视的表示形式的学习,从而导致识别失败(18]。在这个实验中,缩小操作图像表征的影响可以在Oxford5K评估数据集(19]AQPHT和广泛深厚的VGG16模式。为了方便起见,只有36-th层的神经激活的VGG16模型为例,研究了深模型在这个工作。表示的能力是衡量平均欧氏距离计算之间的特性从一幅图像中提取在不同的决议。图1分别介绍了平均欧氏距离的实验结果在不同采样下来VGG16模型和AQPHT尺度。从图1(一)仔细,虽然VGG16模型训练和一些额外的有用的培训技巧Oxford5K数据集,平均欧氏距离越来越大的图像分辨率的降低,表明深表示的能力与降低图像分辨率降低。从图1 (b)的意思是欧几里得距离AQPHT几乎是常数,展示的极好的性能AQPHT缩放变换下不变量。
(一)
(b)
4.2。实验图像重建
图像的表示图像的能力时刻可以衡量图像重建性能。本节比较了图像重建的性能AQPHT和QZM[之间2],QPHT [14],QPHFM [12],QRHFM [11]。遵循标准(11,12),我们在实验中设置相关参数。重建均方误差(MSRE)是用来测量重建性能(11,12];msr等于更好的重建性能降低。假设 和 分别表示原始图像和重建图像;MSRE被定义为
在图2,我们绘制曲线的平均msr和系数的数据量。系数在图像重建可以用真正的价值观,和真正需要的总数值被定义为数据量。例如,需要四个真实值表示一个AQPHT系数,而代表APHT-RGB系数三个组件的需要六个实际价值(9]。从图可以看出2我们比APHT-RGB AQPHT达到更高的msr。通过处理各种颜色通道以整体的方式,AQPHTs可以从国际米兰获得彩色图像的本质,intrachannel方向,展示更好的密实度。
(一)
(b)
接下来,我们使用两个额外的指标,即。,PSNR and SSIM, to evaluate the reconstruction performance. The PSNR between the reconstructed image和原始图像大小的计算 在哪里最大可能的像素强度值。SSIM旨在更好地匹配相比,人类感知PSNR值;SSIM被定义为 在哪里和分别为像素值的均值和方差,的协方差和 ; 和是常数。以前的方法(后20.,21),我们 和 在这篇文章中。更高的PSNR值和SSIM表明更好的性能。
“莉娜”大小为128×128使用AQPHT和重建方法相比最大的顺序从4 - 28。如图3重建图像,我们可以发现我们的AQPHT远比其他时刻。当时刻的数量超过一定值,QZM的重建性能(2]和QPHT [14甚至会降低,而我们提出的重建性能AQPHT不断进步。
4.3。实验图像检索
这里,一系列广泛的实验进行比较我们与其他前沿的方法,即传统的手基于方法(22- - - - - -25)和CNN-based方法(26- - - - - -30.]。评估性能,我们使用的平均精度(美联社)测量计算precision-recall曲线下的面积为一个查询。计算精度平均得分为每个5查询一个地标,平均这些获得的意思是平均精度(mAP)得分。这些地图的平均分数作为一个数字来评估整体性能。对于一个公平的比较,后处理方法,例如,查询扩展被排除在外工作,只有地图表示法与相关特性尺寸报告。检索结果的准确性(地图)31日]的UK-bench [32),假期(33],Oxford5k [19展示在表2,大胆的表明最好的结果。从表2,我们的方法的性能远优于所有手基于方法但略逊于一些CNN-based方法(28- - - - - -30.]。然而,一个特征向量的长度很大程度上决定了其检索效率。我们注意到我们的方法使用特征向量维度显著低与CNN-based方法进行比较。换句话说,我们的检索效率的方法是提高在相同的实验条件下,尽管其准确性的轻微减少,这意味着我们的方法是一种更有效的妥协方法用于彩色图像检索。此外,提出AQPHT执行比QPHT [31日]数据集3日以绝对优势取胜,这表明AQPHT的图像表现能力强于QPHT。
5。结论
本文提出一种新颖的计算框架quaternion-based极地谐波变换,即精度四元数极地谐波转换(AQPHTs)。首先,介绍了整体处理彩色图像,AQPHTs基于四元数的代数。其次,几何误差和数值错误减少了使用高斯数值积分。许多分析AQPHTs的性能进行了对比实验和其他ORIMs。实验结果验证AQPHTs的出色的表现在图像重建和不变的图像表示。未来工作,AQPHTs将被测试在其他彩色图像处理领域,如水印、分割和检索。除此之外,将提出更精确的算法和四元数的计算方法的时刻将会改善。
数据可用性
本文中包含的数据可从相应的作者没有任何限制。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项工作是由美国国家科学基金会支持部分中国(国家自然科学基金委)批准号部分61602226和中国辽宁科技大学博士启动基金批准号下18 - 1021。