文摘

低秩表示(远程雷达)方法由于其最近获得了极高的人气,健壮的方法在解决子空间分割问题,特别是关于损坏数据。在这篇文章中,递归的样本比例(RSS-LRR)方法,提出了低秩表示。RSS-LRR的优势对传统远程雷达是余弦比例因子进一步的介绍,而对每个样本一个点球更好地减少噪声和离群值的影响。具体来说,cos比例因子是一个相似性测量学会提取每个样本与低秩的关系表示的主成分特征空间。换句话说,夹角越小个体数据样本和低秩表示的主要组件,越有可能是数据样本是干净的。因此,该方法可以有效地获取数据的影响主要是由于清洁低秩表示。几个实验进行不同程度的腐败在ORL、CMU派,COIL20, COIL100, LFW为了评估RSS-LRR对先进的低秩方法的有效性。实验结果表明,RSS-LRR一贯执行比方法相比在图像聚类和分类的任务。

1。介绍

古典的局限性特点学习技术,如主成分分析(1]容易使鲁棒主成分分析(RPCA)方法处理噪声和离群值一个有效的选择。特别是RPCA关注学习煤直接从原始高维数据子空间来保存其几何结构的低维子空间。和这个策略已经显示出巨大的改进在多个应用程序(2- - - - - -5]。然而,随着RPCA只寻求一个低秩子空间,它可能仍然是有限的已知噪声损害从高维数据驻留在多个低维子空间(6]。因此,延长RPCA的想法,刘等人。4,7)提出了一个方法命名为“低秩表示”(远程雷达)。RPCA远程雷达的主要优势在于其学习目标数据的多个低维子空间及其成员。这种方法使得远程雷达非常健壮的噪声和离群值的负面影响(8]。

因此,考虑到远程雷达的健壮性上面所提到的,几次在文献引用等(9- - - - - -13),以改善其性能。例如,处理的数据非线性子空间,唐et al。13)提出了健壮的内核远程雷达(RKLRR)。刘等人。11)然后fixed-rank策略加快远程雷达采用的计算过程。然而,他们的表演可以减少与不足或严重损坏样品。这就是为什么小et al。14)曾提出了潜在的远程雷达(LatLRR)联合子空间分割和特征选择。LatLRR背后的想法是将隐藏数据包含在构建字典进一步提高鲁棒性。相反,如何处理生产总值(gdp)数据破坏仍然没有解决。可以看出噪声数据,更大的分类和聚类的降解性能。

为了解决这个问题,一个递归(RSS-LRR)方法,提出了样本比例低秩表示。因为一些生产总值(gdp)数据样本将会更加受损数据腐败,我们估计每个数据样本使用余弦比例因子的重要性。这个比例因子测量角连接每个数据样本在特征空间和低秩表示的主要组件。这样,然后迭代征服嘈杂的数据样本来克服它们的效果。因此,提出RSS-LRR可以有效地获得一个良好的低秩表示比现有的方法。总结我们的主要贡献如下:(1)我们提出一个新颖的方法叫“RSS-LRR”,衡量每个数据样本使用余弦比例因子的重要性。在我们的模型中使用这个比例因子提取每个数据样本与低秩矩阵的主成分的关系。(2)拟议中的RSS-LRR迭代方法可以有效地处理噪声数据样本限制噪声数据样本使用示例比例因子抑制噪声,获得良好的低秩表示。(3)几个实验进行不同程度的腐败RSS-LRR的有效性进行评估。实验结果表明,RSS-LRR始终优于其他先进的方法在图像聚类和分类的任务。

本节提供了一个简短回顾的基线RPCA和远程雷达的方法。首先,在本文中,矩阵是用大写字母写的,例如, 。因此, 和 分别表示弗罗贝尼乌斯规范和核规范。 和 表示向量范数和 - - - - - -标准,这是由 和 。

2.1。鲁棒主成分分析

从破损的数据恢复的一个子空间结构,提出了RPCA (2]。它的策略是将一个给定的数据矩阵分解为两个分量矩阵通过求解优化问题如下: 数据矩阵 是一个矩阵n样品的米维空间, 低秩矩阵, 是一个稀疏的误差矩阵,然后呢 是正规化参数来平衡两个方面的影响。因此,RPCA从上面的公式的主要目标是获取低秩和稀疏的元素结合核规范和 - - - - - -规范。这种方法被证明是可能的在一些假设(16]。然而,随着RPCA假设一个单一的低秩子空间,它的性能很容易降解。

2.2。低秩表示

刘等人。5提出应对RPCA远程雷达的局限性。具体来说,远程雷达专注于追求排名最低的数据表示矩阵。它可以实现通过使用数据self-expressiveness房地产这样self-dictionary利用给定数据本身。通过这种方式,每个数据样本就代表了一个类似的线性组合样品属于同一个类。最佳的远程雷达获得的低秩矩阵定义如下: 数据矩阵 表示self-dictionary 用于捕获错误组件在哪里 表示一定的规范,可以确定基于噪声腐败的类型。例如,尽管 是一个合适的候选数据受到高斯噪声, 对随机噪声有好处。除此之外, 是一种有效的选择只污染数据的一部分。

虽然远程雷达的方法证明是非常有效的,特别是在嘈杂的环境中,其性能可能会降低样本不足。出于这个原因,刘等人。15)提出了潜在的远程雷达,利用观测和构建self-dictionary隐藏数据。这种策略是最有用的图像修复(17]。因此,的工作18)提出了一种线模式噪声去除方法解决污染的实例。它实现了在变换域使用一条线模式的方向性。除此之外,其他的努力是在引用(11,12,19- - - - - -31日提高远程雷达的区别的能力。

值得注意的是,Bing-Kun包等。23)使用fixed-rank方法以减少远程雷达的奇异值分解成本。Zhang et al。24]提出两个瞬时方法:第一可以合理地处理噪声的干涉将给定数据分解为两部分,即稀疏低秩主要功能部分和noise-fitting错误部分。在[25),唐等人介绍了一个多样性正规化和抑制冗余等级约束在不同的数据视图。在[26),张等人提出了一个方法,自适应地保留当地特色信息,从而保证block-diagonal系数结构。与此同时,提出了一种压缩健壮的子空间聚类方法(27降维的)。然而,由于子空间技术,包括远程雷达,不提供线性降维(异地恋)功能,功能选择投影(FSP) [28提出了]。FSP结合特征提取、特征选择和远程雷达到一个统一的模型来促进强劲的异地恋。同样,一个方法是在[引入29日],它利用一个健壮的字典学习策略发现混合的低秩和稀疏表示在一个映像压缩空间。此外,为了保持相似性和局部结构,分层加权低秩表示(HWLRR) [30.提出了]。同样,最近的研究(31日通过一种方法)是专注于捕捉cross-view信息保存多样性和一致性信息的每个数据视图。

3所示。该方法

3.1。RSS-LRR

因为现实世界的数据并不总是完美,噪声不可避免地在实践中,大多数现有的低秩方法不能保证强劲的性能。因此,噪声干扰必须仔细处理来解决目前的缺点。因此,摘要追求一个合理的解决方案,它使用一个余弦比例因子来估算每个数据样本的重要性。从本质上讲,我们假设清洁数据样本会给高重要值,而嘈杂的将不同于数据的主成分。因此,cos比例因子 引入远程雷达配方在方程(2使用约束) 。我们的方法背后的动机很简单:根据文献[32),Z可以分解为 ,在哪里 和 是左和右低秩奇异向量。换句话说, 或 成为追求投影向量,这样 在特征空间数据投影。因此, 被选为我们的最大投影方向在哪里 ,的最大特征值 ,是 列向量。因此,对于一个异类数据样本 ,它和主成分向量之间的夹角 将不同的清洁数据 ,图中描述1(一个)。因此, 表现在以下是用来估计每个数据样本的重要性: 在哪里 是一个常数,停止吗 从0。因此,使用的重要因素 ,给定数据矩阵可以缩放的影响降到最低嘈杂的数据样本,允许低秩结构实现如图用干净的数据1(b)。因此,该样本比例低秩模型方法如下: 在哪里 低秩矩阵和表示 用于捕捉声音元素,类似于方程(2)。然后, 表示的比例因子 样本。


图1
我们建议的模型的框架。

从上面的公式,可以很容易地检查比例因子 适合我们的目标,我们可以检测出噪声点从近角 ,较低的值被分配到这些点。的记忆,让我们假设 ,和 几乎是0,所以呢 是柔和的 。因此, 用于获取新的训练数据。此外,利用奇异值分解, ,这意味着新奇异向量 和新获得的样本空间的投影向量通过抑制嘈杂的数据样本。因此,我们的方法可以学习使用新数据最优的低秩结构 点接近主成分向量的增强。

我们给我们的模型总结的主要特点如下:(我)与现有的低秩方法使用的输入数据 自己是字典,提出了一种新词典 通过施加一个递归的比例因子 在 抑制噪声样本的影响。(2)具体来说,我们递归建模是非常有用的对于学习一个好的低秩表示,尤其是当数据严重污染。如方程所示(4),我们的重点是找到Z通过最小化方程(4)的约束 ,从而使 保持一个更好的低秩结构只使用数据样本与巨大的余弦相似性(称为清洁数据样本作为他们的小角主要组件)。换句话说,Z是通过方程(4使用干净的数据) 。

3.2。优化

在本节中,我们提出一个优化算法来解决方程(4)。首先,标准的做法后,我们引入了一个变量 放松方程(4进一步)。因此,方程(4)可以改写为

增广拉格朗日函数方程(5)给出 在哪里 和 拉格朗日乘数法, 是一个惩罚参数, 表示弗罗贝尼乌斯规范的矩阵。已研制出许多概念凸优化(33- - - - - -35],它依靠nuclear-norm正规化。和优化问题可以通过解决方法(36]。

3.2.1之上。计算J

根据引用(37,38),nuclear-norm最小化方法性能稳定。计算 ,我们重写方程(6),

3.2.2。计算Z

通过修复 和 和替换 , 可以更新使用以下公式:

3.2.3。计算E

与 , ,和 固定的, 可以解决如下:

在文献[39),方程(9)可以解决以下引理。

引理1。(见[40])。让 是一个给定的矩阵。如果 是最优解,那么

因此,我th列 是

根据引理1假设我们有一个矩阵 , 可以直接使用上面的公式,达到使吗 计算过程非常有效。

算法中给出了完整的解决方案1。

(1) 输入:训练数据集 ,调节参数
(2) 初始化: , , , , , , , 。
(3) 而不聚合做
(4) 更新 通过 。
(5) 初始化: , , , 。
(6) 设置: , , 。
(7) 而不聚合做
(8) 更新 而解决其他由方程(7)。
(9) 更新 而解决其他由方程(8)。
(10) 更新 而解决其他由方程(9)。
(11) 更新乘数。
(12) 更新 通过
(13) 更新
(14) 检查收敛条件
(15) 结束时
(16) ;
(17) 更新 通过 和 。
(18) 更新
(19) 检查收敛条件
(20)
(21) 结束时
(22) 输出: ,
算法1我们RSS-LRR提出的算法。
3.3。复杂性分析

本节给出了一个计算成本的分析算法1。在步骤6的算法1的值, 是一样的 内循环。因此,作为迭代的数量 的时间复杂度增加,追求低级变量 减少得更快。从上面的讨论,计算时间 远短于在吗 。计算的成本 ,在哪里 表示数据向量的个数。除此之外, 成本 计算, 是数据维度。 在第10步然后成本 。此外,假设 子块需要 次直到收敛 子问题将被计算 迭代。因此,基于迭代的数量,结合成本 ,这样 表示迭代的数量。因此,当 ,成本的上限 。因此,该方法的总体计算成本 。

4所示。实验

在本节中,我们提出了RSS-LRR评估方法的有效性通过比较它与远程雷达等类似的方法5),潜在的远程雷达(15,LRRLC GLRR [8),和高戴克+ (41在背景建模从视频42和图像去噪43]。

4.1。背景建模从监控录像
以下4.4.1。实验设置

执行这个实验使用监控录像和各种照明设置。它由一系列200灰度级帧32×32尺寸。因此,每个算法的有效性评估使用精度,回忆,和f值指标,参数调整根据相应的文献。准确地说,背景建模(44)是衡量手动引用的活动。在这个实验中,50%的帧是随机选择作为训练集,而其余作为测试集。

4.1.2。实验结果

在图2复苏,我们展示了每个算法的背景和活动分割性能。此外,它可以观察到从表1活动,RSS-LRR优于其他方法的分割,因为它可以更好地推广测试框架。这个结果进一步具体化方法样本比例因子的有效性,比这更可靠的低秩对象获得的比较方法。


图2
结果通过监控录像上的所有算法。
表1
活动监控录像上的所有算法的结果。
4.2。图像聚类与不同程度的噪音
4.2.1。准备实验设置

在这里,有几个实验进行三个著名的图像数据集,即ORL、CMU派,和COIL20评估图像聚类算法的有效性。每个算法的参数调整根据相应的文献使用网格搜索策略。我们给每一个数据集的简要描述如下:ORL:它包含的脸的图像十个人,其中每个贡献40个不同的图像在不同条件下,如面部细节和不同的面部表情。CMU派:它是六十八人的脸图像库中图像使用不同的设置。它包括十三个不同的姿势,四个不同的表情,和42个不同的灯饰。COIL20:它是一个对象图像数据集组成的20个独立对象。每个对象贡献72灰度级图像,总计共有1440个图像。

对于每个数据集,图像大小为32 32尺寸在我们的实验。如图3,这些数据集是损坏的有5%,10%,15%,和20%随机像素噪声噪音展示每个算法的鲁棒性。因此,谱聚类算法应用于每个算法得到的相似矩阵聚类结果与十多个试图确保公平(45]。


图3
原始图像和损坏的例子有不同程度的噪音在ORL数据库。
4.2.2。实验结果

表2- - - - - -4显示每个算法的聚类结果的精度评价指标在ORL、CMU派,分别和COIL20。因此,很明显,我们提议RSS-LRR方法的准确性一直跳动的方法相比,在所有三个数据集。例如,在ORL数据集,我们的方法是约1%的准确性高于它最接近的竞争对手在干净的数据。然后,逐渐增加的噪音水平,可能会注意到,所有的算法降低了性能。然而,我们的方法显示更比其他方法的鲁棒性,尤其是20%噪声伤害。例如,让我们以远程雷达的聚类结果,从0.7505到0.3497,而该方法有一个较低的下降从0.7609到0.5650。

表2
聚类结果对不同的算法在ORL数据库的准确性。
表3
聚类结果的精度不同的算法在CMU派数据集。
表4
聚类结果对不同算法的准确性COIL20数据集。

同样,在表3和4,我们还可以看到,该方法比其他方法保持其性能在CMU派和COIL20数据集。特别是RSS-LRR结果以20%的腐败水平表明,其准确性优于高戴克+ 4%左右,0.5069 COIL20数据集。因此,我们现在每个方法在图的聚类图变化4进一步揭示了该方法对噪声的鲁棒性。因此,得出结论,该方法是安全的性能比其他算法更稳定,特别是在高水平的腐败。我们属性比例因子方法迭代地克服噪声的效果。

(一)
(一)
(b)
(b)
(c)
(c)
图4
聚类不同算法在不同噪声水平的变化(a) ORL、派(b)和(c) COIL20数据集。
4.3。图像识别与相邻闭塞
4.3.1。实验设置

为了评估RSS-LRR在图像识别的鲁棒性不同的连续的遮挡在图像19),我们随机添加 和 46每个数据集块遮挡,如图5。因此,50%的样本选择在每个数据集作为训练集,其余作为测试集。此外,我们比较方法的性能与类似的:远程雷达,LRRLC,潜在的远程雷达(LLRR) GLRR,和高戴克+,采用相关的实验设置部分4.2。因此,每个算法的分类精度评价使用 最近邻分类器(资讯)。


图5
原始图像和损坏的例子有不同大小的闭塞COIL20数据集。
4.3.2。实验结果

在表5,平均分类精度得到在ORL数据库两个级别的连续的遮挡。从表5的准确性,我们可以看到RSS-LRR只是略高于高戴克+。相反,RSS-LRR的精度明显优于LRRLC LLRR,远程雷达,约为5%,4%,和12%,分别 闭塞。例如,分类精度RSS-LRR在远程雷达是0.6015和0.4891。这表明我们提出RSS-LRR可以有效地获得一个良好的低秩表示比现有的方法。

表5
分类精度在ORL 6×6和8×8遮挡。

从表6,我们可以看到RSS-LRR的准确性优于远程雷达约6%。下 阻塞,RSS-LRR的准确性优于高戴克+和GLRR约2%。因此,我们建议对分类精度大约RSS-LRR演示了杰出的有效性在所有算法。在表7,RSS-LRR的精度高于LRRLC和远程雷达下约3%和6% 闭塞。例如,分类精度GLRR RSS-LRR 0.6985和0.7130,而远程雷达的结果是0.6522 闭塞。

表6
分类精度在CMU派6×6和8×8遮挡。
表7
分类精度在COIL20 6×6和8×8遮挡。

数据6(一)- - - - - -6 (f)说明分类精度的变化随着特性在不同维度在ORL遮挡,CMU派,和COIL20数据集。从数据6(一)和6 (b),我们可以看到RSS-LRR达到最高的精度在所有算法。在数据6 (c)和6 (d),我们可以看到RSS-LRR变得更好的性能比其他中央派数据集特征维数超过70。从数据6 (e)和6 (f)COIL20数据集,我们可以看到,RSS-LRR逐渐显示其优越性的精度时,特征维数超过70人。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
图6
增加功能维度的分类精度变化 和 遮挡在ORL (a、b), (c, d) CMU派,和(e, f) COIL20数据集。

从上面的讨论,可以看出我们的提议RSS-LRR显示与其他算法相比,分类精度更好的性能。

4.4。大规模数据集实验
4.1.1。实验设置

在这个实验中,RSS-LRR有效性进一步评估在两个大的数据集,即COIL100 LFW。同时,相关的设置从前面采用执行大规模的实验。我们给每个数据集的简要描述如下:COIL100:它拥有7200 100个对象的图像,这相当于72图片为每个对象,每个图片的姿势间隔5度。LFW:标记在野外最初数据集包含超过13000伦敦时装周开幕的脸图像,主要来自互联网的来源。然而,2484年我们面临来自38类图像提取实验由于某些类别的样本较少。每个图像大小为64×64像素,产生4096功能/形象。

10/24/11。实验结果

从分类结果表8和9,它可以注意到RSS-LRR相比表现一直比这更好的方法。例如,RSS-LRR的表现0.6052 COIL100数据集上与6×6块阻塞(表损坏8)是略优于第二高戴克+ 1%以上,它是更好的2%以上在8×8块阻塞。得到了类似的结果在伦敦时装周的数据集(表9),该方法的性能也优于高戴克+方法,关注,除了下获得更多的利润超过4%的6×6块阻塞。

表8
分类精度在COIL100 6×6和8×8遮挡。
表9
分类精度在LFW 6×6和8×8遮挡。

从聚类结果显示在表中10和11可以观察到,以下:(我)虽然所有方法获得比较表现在这两个数据集,其精度明显降低通过增加噪音。然而,这并不意外,因为腐败水平意味着更有识别力的数据特性被破坏,很难准确地组织类似的数据样本在同一集群。(2)此外,尽管相对较新的方法高戴克+显示更多的噪音比旧方法的鲁棒性,其聚类准确性清洁数据略低于其他方法的伦敦时装周的数据集,或许由于这类失衡数据集。(3)总的来说,RSS-LRR噪声的鲁棒性和噪声的增加日益强大。例如,其性能在COIL100 0%噪声仅仅是1%比最接近的竞争对手高戴克+,但最好超过2%低于20%的噪音。也是在伦敦时装周的数据集,表示RSS-LRR的聚类精度只有2%比远程雷达在清洁数据,而这是优于高戴克+ 4%以上,这是最接近20%的噪声水平下结果。

表10
聚类结果对不同算法的准确性COIL100数据集。
表11
聚类结果对不同算法的准确性在伦敦时装周的数据集。

此外,为了展示更多的新奇,RSS-LRR关于大规模数据集的聚类和分类性能进一步与两个最近的最先进的(SOTA)方法,即非负稀疏低秩表示的歧视(NSDLRR) [47)和低秩和协作表示高光谱异常检测(LRCRD) [48]。从分类结果显示在图7,它可以观察到,这三种方法得到相关结果在两个数据集。然而,RSS-LRR显示更多的鲁棒性,尤其是在伦敦时装周的数据集。同样,聚类结果如图8,结果也接近与该方法显示最佳的总体性能。

(一)
(一)
(b)
(b)
图7
分类结果的精度不同SOTA (a) COIL100方法而且(b) LFW数据集在不同块阻塞的水平。
(一)
(一)
(b)
(b)
图8
聚类结果的精度不同SOTA (a) COIL100方法而且(b) LFW数据集在不同噪声水平。
4.5。收敛性研究

基于已建立的标准的不精确的增广拉格朗日乘子(IALM)优化策略在文学的几块5,49- - - - - -51的目标函数值 , ,和 子问题预计将减少单调在每个迭代直至收敛。此外, 子问题是已知封闭的解51因为它有一个凸函数。此外,收敛的 和 子问题是证实了引用36,52- - - - - -54),分别。因此,缓慢收敛当一切都放在一起。幸运的是,如图9,该算法有很强的收敛性质,因为它在150的迭代收敛COIL100和ORL数据集。

(一)
(一)
(b)
(b)
图9
该算法的收敛曲线COIL100 (a)和(b)与6×6块阻塞ORL损坏。

5。结论

在本文中,我们提出一个递归方法命名为“RSS-LRR样本比例低秩表示。”不同于现有的方法,每个数据样本的重要性估计通过引入余弦比例因子。这个比例因子用于提取每个样本与低秩的关系表示的主成分特征空间。因此,我们的模型可以有效地减少迭代所产生的噪音影响减少噪声样本的重要性在学习的低秩矩阵。几个著名的基准数据集上实验结果表明RSS-LRR执行聚类和分类任务比最先进的方法。它包括各种严重损坏进行了实验数据。因此,我们将扩展RSS-LRR多视图数据在未来工作的想法。

数据可用性

在这项研究中使用的数据集是开放的基准数据集允许用于研究。下面是描述和链接,每个其中之一。每个可以访问使用相应的链接。ORL包含脸图像的十个人,他们每个人贡献40个不同的图像在各种条件下如面部细节和不同的面部表情:http://cam-orl.co.uk/facedatabase.html。CMU派是六十八人的脸图像库中图像使用不同的设置。它包括十三个不同的姿势,四个不同的表情,和42个不同的灯饰:https://www.cs.cmu.edu/afs/cs/project/PIE/MultiPie/Multi-Pie/Home.html。COIL20 20个独立组成的是一个对象图像数据集对象。每个对象贡献72灰度级图像,总计共有1440个图片:https://www.cs.columbia.edu/cave/software/softlib/coil - 20. - php。COIL100有7200 100个对象的图像,这相当于72图片为每个对象,每个图片的姿势间隔5度:https://www.kaggle.com/jessicali9530/coil100。标签面临在野外数据集最初包含超过13000伦敦时装周开幕的脸图像,主要来自互联网的来源。然而,2484年我们面临来自38类图像提取实验由于某些类别的样本较少。每个图像大小为64×64像素,产生4096特性/图片:http://vis-www.cs.umass.edu/lfw/。

的利益冲突

作者宣称没有利益冲突有关这项研究的出版物。

作者的贡献

Wenyun高和斯坦利Abhadiomhen概念化的研究理念和审查和编辑。小云和李戴盛参与调查的数据。盛戴运行软件。斯坦利Abhadiomhen写了初稿。Wenyun高、星辉阴和斯坦利Abhadiomhen监督这个项目。Wenyun高参与融资收购。

确认

这项研究的部分资金由中国的国家重点研究和发展项目,批准号2020 yfc1511800。