文摘

平滑参数是用来平衡的重量数据项和平滑项变分光学流模型,为光流估计扮演非常重要的角色,但现有方法无法获得最优平滑参数(OSP)。为了解决这个问题,提出了一个自适应平滑参数的策略。首先,一个合并简单线性迭代集群(SLIC)和当地隶属函数(LMF)算法用于整个图像划分为几个superpixel地区。然后,图像质量参数(IQP)计算,分别为每个superpixel地区。最后,一个神经网络模型应用于计算平滑参数由这些每个superpixel区域的图像质量参数。实验做三个公共数据集(明德,MPI_Sintel KITTI)和我们的自我构建户外数据集与该方法和其他现有的经典方法;结果表明,我们的OSP方法达到更高的精度比其他平滑参数选择方法在所有这四个数据集。结合双分数阶变分光学流模型(DFOVOFM),该模型显示了更好的性能比其他模型场景光照不均匀性和异常。OSP方法填补了空白的研究自适应平滑参数,将变分光学流模型的发展。

1。介绍

运动检测(1,2是图像处理的研究热点,被广泛应用于运动分割(3,目标跟踪4),和视频(5)监测(6]。光流法(7)是一种最常用的运动检测方法,旨在估计相邻图像中每个像素的空间位移序列。

变分光流算法(8)是最受欢迎的光流的方法之一,它由三部分组成:数据项,平滑项,平滑参数。为了提高变分光流算法的性能,进行了很多改进的数据和平滑项解决大位移问题[9),增强对噪声的鲁棒性照明变化(10- - - - - -12),保持不同运动之间的不连续区域(13),突出运动区域的轮廓(14- - - - - -16),和解决阻塞问题17,18]。然而,但很少注意平滑参数选择方法。平滑参数之间充当桥梁的数据项和平滑项直接影响光流估计的最终结果。小的平滑参数会导致过度拟合,而引起underfitting更高的价值。

最优平滑参数是由图像质量(19]。小的平滑参数的值分配给图像清晰的轮廓和高对比度,而大型平滑参数赋给图像模糊的轮廓和低对比度。在光流估计,许多方法确定平滑参数通过人类视觉感知没有精确值,因此,平滑参数选择的这些方法是不准确的。此外,许多现有的方法使用相同的平滑参数在整个图像,但不同地区的图像质量可能是不同的,因此,平滑参数之间的不匹配和图像内容存在。虽然有些方法已经提出了调整平滑参数通过图像内容,没有一个可以解决这些问题。

图1显示了光照不均匀图像序列和图像质量不同区域的光流估计结果双分数阶光学流模型。数据1(一)和1 (b)输入图像序列;数据1 (c)和1 (d)光流估计结果平滑参数是什么时候吗 和 ,分别。图中可以看到1 (c)流场的轮廓在明亮的部分比黑暗部分清晰,而在图1 (d)流场的轮廓在黑暗的部分是清晰明亮的部分,所以,如果我们设置 在明亮的形象,与此同时的一部分 在黑暗的形象的一部分,准确性将这三种方法中最高的。

本文的目的是解决不匹配问题的光滑参数和图像内容在每个图像的一部分;设计一个自适应平滑参数的策略来选择最优平滑参数不同地区的形象。

本文的主要贡献如下:(1)一种新的图像分割算法结合SLIC和LMF提出将整幅图像分割成几个superpixel地区(2)我们不会使用相同的平滑参数的整体形象;不同的平滑参数将被分配到不同的superpixel地区,分别(3)图像质量参数用于计算首次平滑参数

剩下的纸是组织如下。部分2评审工作平滑参数选择方法。部分3介绍了算法的流程图。部分4本文介绍了变分光学流模型使用。部分5和6描述该图像分割方法和图像质量参数,分别。部分7解释了如何使用图像质量参数来确定平滑参数为每个superpixel地区。实验结果讨论了部分8和结论提出了部分9。

2。相关工作

的平滑参数调整策略变分光学流模型在1986年首次提出的内格尔。他提议的平滑约束(20.)利用灰度值的变化来调整平滑参数的值。然而,这种方法失败在照明不足的场景和场景照明的变化。在[21),提出了一种平滑重量选择方法;方法使用一个模糊算子来计算加权距离,但空间不同角色需要调整之前,可以应用于变分光学流模型。在[22),交叉验证的方法结合最大似然函数函数应用于估计平滑参数,但该方法不能用于大位移的场景。基于数据驱动的方法估计的风险(23)是用于选择平滑参数,但该方法计算昂贵,尤其是对健壮的数据项。提出了一种贝叶斯框架(24)来估计参数通过最小化目标函数的变分模型。在[25),平均数据常数误差准则基于最优预测理论提出了动态选择平滑参数,但该方法限于线性刚性运动。金敬姬等人应用自适应卷积核函数(26)解决oversegmentation或oversmoothing问题,但当低对比度区域存在时,自适应策略是无效的。在[27),加权均方根误差准则被用来估计平滑参数。视觉感知的方法估计初始平滑参数。然后,搜索程序应用于获得最优参数的初始平滑参数与均方根误差最小。然而,该方法多次尝试找到最优平滑参数,和相同的平滑参数将应用于整个图像;不均匀光照发生在一个图像时,方法不合适。

近年来,许多其他改进提出了变分光学流模型:TV-L1-based方法(28,29日),基于深度学习方法(30.- - - - - -32(基于)和过滤的方法33- - - - - -35),但没有一个人关注平滑参数。

3所示。算法的流程图

算法的流程图如图2:首先,整个图像分割成几个superpixel地区通过SLIC和中频采样方法;然后,对于每个superpixel区域,图像质量参数计算;然后,设计了一种神经网络模型使用图像质量参数确定最优平滑参数;应该被训练的神经网络模型对图像质量参数和最优平滑参数首先。最后,DFOVOFM和最优平滑参数被用来估计图像序列的光流。

4所示。双重分数阶光学流模型

双重分数阶光流模型(DFOVOFM) [36)是一种分数阶版本的HS模型数据项和平滑项HS模型重建的分数阶导数。DFOVOFM是模型的优势集成目标点周围的变化特征,它不仅保留了边缘和纹理细节,但也消除了微妙的噪音的影响,以提高模型的鲁棒性,环境变化的过程中光流估计。

DFOVOFM被定义为 在哪里代表光流模型的能量函数, 是光流矢量,然后呢 组件的光流矢量轴吗和轴 ,分别。 , ,和表示亮度函数的分数阶导数在 轴。 代表了分数阶导数的顺序。 , , ,和表示衍生品的光学流组件 , 在 轴,分别 代表一个附近的点 , 是平滑参数, 。

5。Superpixel分类

当地地区的图像质量参数被认为是相同的像素的RGB值是否相同或相似。因此,我们使用每个像素的RGB值和位置将图像划分为若干亚区,然后计算各个区域的质量参数。简单的线性迭代聚类(SLIC) [37五维空间)算法 本文应用图像分割。

首先,整个图像分割大小相等的条件;中心的协调和RGB值点保留。两个相邻中心点之间的距离 ,在哪里代表图像的像素数量。

其次,欧几里得距离的RGB值和位置信息中心点及其相邻点之间 计算区域。还需要增加体重因为次区域的大小可能会有所不同。 在哪里是一个修正系数;在那之后,相邻像素的值 从小型到大型地区排名。新superpixel地区是由第一个 像素;然后每一个新的superpixel区域的中心点是新的。

我们遍历第二个程序直到之间的平均距离 和 小于阈值 。 和代表的中心点的坐标kth迭代和k+ 1迭代, 。迭代将终止时,下列方程是正确的:

然而,根据传统的SLIC,即使RGB值非常类似于中心点,superpixel边缘点的地区将会被误诊。为了纠正这些错误分割像素,当地的隶属函数(38]应用于边缘点: 在哪里代表像素属于superpixel地区的比例。我们重新分类的像素superpixel最大的地区 。 是superpixel地区周围的像素的数量和 , 是一个像素的亮度功能,的意思是superpixel区域像素的亮度值。

图3显示了图的分割结果1(一)。数据3(一个)和3 (b)是原始SLIC的结果和改进的SLIC,分别。可以看出一些superpixel区域的边缘点被正确分类处理后由当地隶属函数。

6。图像质量参数

图像质量参数的量化是人类视觉感知的图像,在图像处理领域的一个基本步骤。许多图像处理任务可以执行如果图像质量评价准确。最近,许多图像质量等参数,提出了熵(39[],亮度40],colorfulness [41],锐度[42),和对比(43]。作者在44)提出了一个颜色均方根为彩色图像增强(CRME)方法的扩展版本根平均灰度增强(RME)。k·帕内塔在45)提出了一个颜色质量增强(CQE)方法测量colorfulness相结合的彩色图像质量,清晰度和对比度。

保持考虑上述图像质量参数和变分光学流模型的特点,我们设计了更全面的图像质量参数包括CRME CQE colorfulness,锐度、对比度和信噪比在我们的工作。

6.1。CRME

根的意思是颜色增强(CRME)不仅是为了衡量每个颜色的对比计划,而且测量立方体中心和周围颜色的区别。

计算CRME,图像分割块,块的中心吗 ,和 块的均值强度 。 是颜色飞机的重量,根据NTSC(国家电视系统委员会)标准,然后呢 , ,和 。

6.2。对比

对比是指不同亮度的测量水平之间的一个图像中最亮的白和最黑暗的黑。较大的区别最聪明、最黑暗的,越大的对比。

计算对比,划分为图像块,和最大和最小强度值块吗 ,和 , ,和 。

6.3。锐度

清晰度负责报告的细节,边缘和纹理图像中。例如,在高清晰度的情况下,不仅脸上的皱纹和斑点清晰照片,而且面部肌肉的膨胀或抑郁可以被识别。

计算对比,划分为图像块,和最大和最小强度值块吗 ,和 , ,和 。

6.4。Colorfulness

颜色是最敏感的正式的元素,可能会导致我们共同的审美享受。色彩是最富有表现力的元素之一,因为它的性质直接影响人的感情。 在哪里 , , superpixel区域的像素数量, , ,

6.5。信噪比(信噪比)

信噪比是一个物理量表示局部图像区域的程度受到噪声和畸变的影响。信噪比的定义是 在哪里表示的意思是和是相应的标准差。 在哪里和亮度函数的梯度是什么 为分别轴。一般来说,信噪比更高价值的结果更好的图像质量。

7所示。平滑度的计算参数

一个神经网络模型46- - - - - -48)是为了获得平滑参数使用图像质量参数。

7.1。神经网络模型

模型的输入是由五个节点代表五个图像质量参数和模型的输出只有一个节点(相应的平滑参数)。经过无数次的尝试,我们终于决定隐藏层的数量,在每一层的节点数:五个隐藏层:第一层有10个节点,第二层有20节点,第三层有20节点,第四层有10个节点,和第五层有5个节点。乙状结肠函数被选为活动的功能。Softmax被选作为损失函数。

我们初始化权重参数使用高斯分布的均值为0,方差为0.01,然后调整重量参数的梯度下降法和反向传播功能。自建数据库作为训练样本,批规范化培训模型和随机模型的失活是用来避免过度拟合。动量值选为0.99,重量损失项设置为0.01,和学习速率是0.02。

7.2。成长的数据集

12类的数据库是用于构造训练集明德数据库,MPI_Sintel_final数据库,MPI_Sintel_clean数据库,KITTI数据库、户外视频和图像序列的八个不同的条件。众所周知,更高的训练样本结果模型的准确性。在我们的模型中,通过增加样本的数量,增加模型的精度也顺利,直到达到98.5%,但精度略有增加样本的数量超过300。由于这个,我们为每个类使用300个样本。对于每一个样本,即。,image sequence, the image quality parameters are calculated and the optimal smoothness parameter is obtained by [27];然后他们用于训练神经网络模型。表1显示了一些训练数据。

8。实验结果和分析

三个公共数据库:明德(49],MPI_Sintel [50],KITTI [51)和一些户外视频用于这些实验。我们的算法相比DFOVOFM [36],TV_L1 [52),(53],MDP_Flow [54],PH_Flow [55),和基于WRMS平滑参数选择方法(27]。所有的仿真结果在MATALB 10.0执行系统配置的Windows 7,英特尔的3.3 GHZ, 16 GB的RAM。

这些实验的目的是展示我们的OSP方法的优越性。

在图4和表2与不同的固定,我们应用DFOVOFM平滑参数和OSP方法显示图像内容之间的关系和最优平滑参数,和我们的OSP方法精度最高。在图5和表3DFOVOFM + OSP相比,我们与其他经典光学流模型;我们可以看到我们的模型是优秀的照明不均匀场景,照明不足的场景,场景照明的变化。

在图6和表4,我们比较DFOVOFM +百DFOVOFM + WRMS TV-L1 +百和TV-L1 + WRMS;我们可以看到DFOVOFM +百这四种算法中是最好的。

在数据7和8我们表明,与其他算法相比,DFOVOFM + OSP的户外环境。

图4显示了光流估计结果DFOVOFM不同平滑参数。在图4,有军队和格罗夫在明德,Market_4 Ambush_3 MPI_Sintel,和两个V1和V2mmc5户外视频。前三列从左到右代表不同的平滑参数有值等于3、10和20,而第四,第五,第六列代表WRMS平滑参数选择方法为基础,我们提出的方法,和地面真理。从图可以看出4每个数据库的性能变化通过改变的价值 。明德数据库中当我们得到更好的结果 。然而,MPI_Sintel最终数据库时表现更好 ,而在户外视频更好的结果= 20;我们可以看到不同的图像质量会有不同的最优平滑参数。显然,它可以清楚地看到,我们的方法达到更好的结果比现有的所有数据库的方法。我们的方法比其他方法显示更清晰的轮廓如序列军队士兵手中的枪,在树林的分支机构,在Market_4怪物的尾巴,Ambush_1轮廓巨大的头和挥舞着棍子。的户外视频V1、V2,结果我们的方法具有最完整的轮廓和最小误差区域由光照变化引起的。表2显示了错误率(爱意/ AAE,平均端点误差/平均角错误)在明德DFOVOFM不同的平滑参数数据库。红色粗体字母显示固定的最小错误率而黑色粗体字母显示我们的方法的误码率。表中可以看到2的价值影响光流估计的准确性和误码率的方法是最低的。

图5显示了光流估计结果MPI_Sintel数据库中不同的算法。从上到下每一行表示不同的图像序列Market_1, Cave_3, Shaman_1, Ambush_1, Market_3,而每一列从左到右显示的结果所不同的模型,MDP_Flow, PH_Flow, DFOVOFM +百,地面真理。图中可以看到5,与其他算法相比,我们的方法的优势是光照变化的鲁棒性和不充分的照明场景,如Shaman_1;我们可以看到完整的轮廓和明亮的颜色光流估计结果但在其他算法,衣袖部分人失踪。同时,照明变化发生在右侧运行女孩Market_1造成大的光流估计误差所的结果,MDP_Flow, PH_Flow和我们的方法是最准确的。然而,我们的算法有一个缺点,它不显示的运动和一些细小的细节纹理细节丢失,可以看到最后的锥Cave_3 Ambush_1黑男人的胡子。

表3显示了不同的算法的平均爱意/ AAE MPI_Sintel数据库中,s0-10, s10-40,和s40 +代表最大位移小于10像素,10至40像素,分别和超过40个像素。我们可以看到在表3我们的方法的准确性高于虽然小低于MDP_Flow PH_Flow,因为一些序列在MPI_Sintel包括大位移和遮挡问题由于我们的方法的准确性略低于其组件。

图6显示了光流估计结果KITTI数据库中不同的算法。从上到下每一行表示不同的图像序列,是00004年,00009年,00011年,00014年和00015年,包括照明不均匀场景,而每一列从左到右显示结果的不同模型TV_L1 + WRMS DFOVOFM + WRMS TV_L1 +百,DFOVOFM +百。我们可以看到,结果TV_L1 +百和DFOVOFM +百比DFOVOFM + WRMS和TV_L1 + WRMS在所有5个图像序列。表4显示了爱意的四个光流估计的方法00004年,00009年,00011年,00014年和00015年KITTI数据库中图像序列;AVE意味着爱意的平均50图像序列。它可以证明我们的OSP方法比WRMS方法有较高的精度。

数据7和8显示实验结果的户外视频V3(照明变化和非均匀区域)和V4(照明变化和地区不足)。前两列的这些数字输入图像序列,而剩余的列从左到右显示的结果所,MDP_Flow, PH_Flow, TV_L1 + WRMS DFOVOFM + WRMS TV_L1 +百,DFOVOFM +百,分别和手动分割结果。结果所获得的技术数据中所描绘的一样7 (c)和8 (c)相对较小的误差区域,但对象轮廓不是完整的人体和几个部分失踪。对于MDP_Flow方法,我们可以得到更好的完整的人体数据7 (d)和8 (d),但结果区域同时含有更多的错误。我们可以看到,DFOVOFM模型达到更好的结果比其他模型虽然DFOVOFM +百产生更多更好的结果与最完整的对象轮廓和错误最少的地区。数据比较WRMS方法7 (f),7 (g),8 (f),8 (g)在数字与我们的OSP方法7 (h),7(我),8 (h),8(我),我们可以看到我们的OSP方法达到更好的光流估计。

9。结论

一种自适应平滑参数变分方法光流模型提出了解决低匹配率平滑参数和图像内容的问题。该方法的主要思想是为亚区与不同分配不同的平滑参数图像质量参数。这些条件可以通过SLIC结合LMF而平滑参数计算了图像质量参数(CRME、对比度、锐度、colorfulness和信号噪声比)和自行设计的神经网络模型。仿真结果验证,WRMS方法相比,我们的方法会取得更好的结果,特别是在场景与不同区域图像质量。此外,结合DFOVOFM,其他光流估计方法相比,该方法显示出更好的性能在照明等照明场景异常变化,光照不足,照度不均匀性。

数据可用性

在这项研究中使用的图像是公开的。

的利益冲突

作者宣称没有利益冲突有关这项研究的出版物。

确认

这项研究得到了国家自然科学基金(批准号。71771080,71771080,71988101)。