文摘
数据恢复的问题多路数组(即。,tensors) arises in many fields such as computer vision, image processing, and traffic data analysis. In this paper, we propose a scalable and fast algorithm for recovering a low-阶张量与未知部分的条目被任意损坏。在新算法中,张量恢复问题是制定作为一个混合凸多重线性鲁棒主成分分析(RPCA)优化问题通过最小化一个核规范以及之和规范。问题是结构良好的目标函数和约束条件。我们应用增广拉格朗日乘子方法可以利用良好的结构有效地解决这个问题。在实验中,该算法相比,本算法在合成数据和实际数据包括交通数据、图像数据和视频数据。
1。介绍
张量是一个多维数组。向量和矩阵的高阶泛化,它有很多应用在信息科学、计算机视觉、图像分析(1),和交通数据分析(2- - - - - -4]。在现实世界中,规模和快速增加的冗余数据量和现实世界几乎所有现有的高维数据要么自然的张量形式(例如,多通道图像)或可以分为张量的形式(例如,张量脸(5)、交通数据张量模型(2- - - - - -4),和视频),挑战出现在许多科学领域当有人面对现实世界的高维数据。因为一些原因,想要捕捉的潜在的低维结构张量数据或寻求检测不规则的张量数据的稀疏模式,如图像压缩(6],前景分割[7],凸起检测[8),和交通数据完成2,3]。因此,需要开发新的算法,可以捕获的低维结构或不规则的稀疏模式高维张量数据。
在二维情况下,即矩阵的情况下,“排名”和“稀疏”是最有用的矩阵值数据分析的工具。Chandrasekaran et al。9]提出的概念“rank-sparse混乱”来描述基本恢复低秩和稀疏的组件的可识别性。赖特et al。10和萤石等。11证明了如果不规则的稀疏矩阵足够稀疏(相对于排名的),一个可以实现稀疏和低秩恢复通过求解凸优化问题如下: 在哪里是给定的矩阵恢复;煤的组成部分吗;的稀疏分量吗;表示核规范定义的奇异值的总和;表示矩阵元素的绝对值之和;是一个积极的加权参数。这种优化方法称为鲁棒主成分分析(10,11)(RPCA)或主成分(PCP)由于其追求的能力完全恢复底层低秩矩阵即使在被大条目或损坏的存在离群值。
尽管低秩矩阵恢复问题已经得到深入研究,但没有多少张量。李等人。12派生的一种最优的方法张量分解模型。考虑到一个真正的模式张量,最好的近似是找到一个张量与指定最小化成本最小二乘函数: 的秩条件暗示应该有塔克分解(13]。为应用程序,并将该模型应用于高维张量可视化数据除以观察张量成低维结构+无限但稀疏不规则模式:。通过假设排名的应该是小和腐败是有界的,最初的功能如下: 为了解决这个问题,他们做了一些转换(3)和扩展矩阵的鲁棒主成分分析问题张量的情况。放松技术是用于单独的依赖关系和块坐标下降(BCD)方法用于解决低收入阶张量恢复问题。然后提出了秩稀疏(RSTD)张量分解算法。事实上,他们的算法可以被视为一个基本版的拉格朗日乘子方法。虽然是简单而正确,RSTD算法需要大量的迭代收敛,很难选择参数加速。此外,由于房地产的基本拉格朗日乘子法,结果的准确性需要改善。
在本文中,低收入的新算法张量恢复,称为混合增广拉格朗日乘子法对张量恢复(MALM-TR)。在新算法中,类比RSTD [12),我们将张量恢复问题转化为凸优化问题采用混合放松,消除了相互依存的跟踪规范和技术策略规范约束。实际上,问题涉及的元素都是在矩阵情况下。因此,它可以被视为一个多重线性扩展RPCA问题,贯穿了矩阵RPCA问题作为一个特例。林等。14)已经证明矩阵RPCA问题可以通过ALM解决实现更高的精度,更少的存储/内存要求,取悦Q-linear收敛速度。ALM的灵感来自这些优点,我们试图延长增广拉格朗日乘子法(ALM)多重线性RPCA问题,证明ALM不仅适合解决矩阵RPCA问题也适用于解决多重线性RPCA问题。
对于这个算法的使用,适用于现实世界的数据恢复包括交通数据恢复,图像恢复,和背景建模。
在交通数据分析领域,由于探测器和通讯故障,交通数据经常面临与喧哗数据现象,尤其是离群值噪声,对性能有很大的影响的智能交通系统(ITS)。因此,至关重要的是解决问题所引起的异常数据,为了充分探索数据的适用性和实现其应用程序。在应用程序的一部分,这篇文章中,我们介绍了张量形式模型的交通数据,可对多模编码(例如,一周,一天,记录)相关性的流量数据同时保存多路流量数据的性质。例如,假设一个循环探测器收集交通量数据每15分钟。因此,它会有一天96条记录。如果我们有20周交通量数据,这些数据可以形成一个张量的大小。然后,提出tensor-based方法好我上面提到的多模相关的流量数据是用来去除离群值噪声的流量数据。
观察,多通道与多维图像可以看作是一个张量。例如,RGB图像有三个渠道包括红色通道、绿色通道和黑色通道。因此,它可以表示为这是一个三维张量。为应用程序,该方法用于去除图像的噪声。虽然方法不合理的一些自然图片,它有许多应用程序结构化图像等视觉数据(例如,正面形象),CT / MRI数据和多光谱图像。除了图片、视频数据可以分为张量的形式。例如,有一个视频300灰色帧,每个的大小。这些视频数据可以形成一个张量的大小。对于视频应用程序,该方法将用于背景建模。
剩下的纸是组织如下。部分2提出了一些符号和州张量的一些基本性质。部分3讨论了我们的算法的详细过程。部分4测试算法在不同的设置,不同的模拟数据和应用程序在计算机视觉,图像处理,交通恢复。最后,提供了一些结论部分5。
2。在张量符号和基本模型
在本文中,术语和符号(1,12在张量部分采用。用小写字母表示标量(a, b, c,…),向量通过粗体小写字母(一个,b,c,…),矩阵由大写字母(A, B, C,…)。张量被编写为书法字母()。模式张量表示为。的元素模式表示为,在那里,。模式-展开(也称为matricization或压扁)张量被定义为。张量元素()映射到矩阵元素(),
因此,,在那里。因此,它的逆算子折叠可以被定义为。
的排名的维张量,用的排名——模式展开矩阵:
如果排名是非常小的张量的大小有关,我们称之为低收入阶张量。
两个同样大小的内积张量被定义为的产品条目的总和,也就是说,
相应的弗罗贝尼乌斯规范。此外,规范的张量,用非零元素的数量和标准的定义是。很明显,,和对于任何。
的模式(矩阵)张量的产品与一个矩阵用和的大小。夷为平地的矩阵,产品可以表示为模式
3所示。MALM-TR
本节分为两部分。节3.1,我们low-n-tensor复苏的问题转化为一个多重线性RPCA问题。部分3.2简单介绍了ALM方法,扩展了ALM方法解决多重线性RPCA问题,并提出了该算法的细节。
3.1。多重线性RPCA问题
推导从通用版本(10]矩阵复苏的问题: 在哪里是给定的矩阵恢复;煤的组成部分吗;的稀疏分量吗;表示的秩;表示非零矩阵的条目数;是一个积极的加权参数。高阶张量恢复问题可以从矩阵(即生成。,二阶张量)的情况下利用形式(8),导致下面的公式: 在哪里是在每个模式模式张量与相同的大小。是观察到的张量数据。和代表记者结构部分和不规则稀疏的部分,分别。张量的最低数量是1级产生作为他们的总和15,16]。然而,(9)是无法解决的,因为没有简单的算法来确定一个特定的CP-rank张量,给出规范是高度非凸的。但是,当给定的张量是一个低收入我们可以用阶张量排一个张量的演变而不是CP-rank张量来捕获的全球信息给出张量。因此,我们可以最小化排名分别为给定的张量,而不是减少CP-rank解决张量完成问题。很明显,等于。因此,一个函数最小化所有的鉴于张量来代替的排名(9)方法如下: 在哪里的模式,折的和。方程(10)是一种高度非凸优化问题,没有有效的解决方案就是由于nonconvexness矩阵的秩规范。幸运的是,这是一个事实,即核规范和最凸逼近级别和规范规范(10,11),分别。用核取代等级标准和替换规范与规范,驯良的凸优化问题可以得到: 为了尽可能地利用每种模式的信息,排名最小化问题每个模式结合的加权参数替换功能与这是定义在[17,18]。因此,张量完成问题
问题(12)仍难以解决由于相互依存的跟踪规范规范约束。为了简化问题,我们引入了额外的辅助矩阵,。然后,我们平等的约束的放松和。很容易检查对应于稳定原则组件(sPCP)在矩阵的情况下追求19]。最后,我们得到的放松形式(12),可以被视为一个多重线性RPCA问题:
3.2。优化过程
在[20.的一般方法,介绍了增广拉格朗日乘数法求解约束优化问题的: 在哪里和增广拉格朗日函数被定义为 在哪里是一个积极的标量,然后优化问题可以通过增广拉格朗日乘数法的解决(见[21更多细节)。
它是观察到(13)是结构良好和可分离结构出现在目标函数和约束条件。我们转换(9)与适当的增广拉格朗日形式,,。增广拉格朗日(13)是
方程(16)可以简化为等效的形式:
解决优化问题的核心思想(17)是一组优化的变量同时修复其他团体。在优化的变量,,,,,可分为组。达到最优解,该方法估计,,,在每个迭代顺序,紧随其后的是特定的细化。
计算 。最优与所有其他变量固定下面的子问题的解决方案:
所示(22),最优解(18)是由 在哪里的奇异值分解吗 和是“收缩”操作。“收缩”操作符与被定义为
操作员可以扩展到矩阵或者张量情况下通过执行对每个元素收缩算子。
计算 。最优与所有其他变量固定下面的子问题的解决方案:
计算 。最优与所有其他变量固定下面的子问题的解决方案:
是很容易证明的解决方案(24)是由
计算 。最优与所有其他变量固定下面的子问题的解决方案:
是很容易证明的解决方案(26)是由
MALM-TR演算法的伪码算法进行了总结1。
|
||||||||||||||||||||||||||||||||||||
在一些,而一般情况下,当越来越序列和目标函数和约束条件是连续可微的函数,它已被证明在20.拉格朗日乘数法)由算法1收敛Q-linearly时的最优解有界和super-Q-linearly当吗是无限的。MALM-TR的另一个优点是,最优步长更新被证明是选择惩罚参数吗,使参数调优要容易得多。MALM-TR的第三个优点是算法收敛于精确的最优解,甚至不需要接近无穷大(20.]。
4所示。实验
在本节中,通过数值模拟和真实世界的数据,我们评估我们的算法的性能比较结果与RSTD低收入阶张量恢复问题。
在所有的实验中,兰索斯bidiagonalization算法与部分reorthogonalization [24采用]获得一些奇异值和迭代向量。一个重大的挑战我们的算法参数的选择。我们只是设置参数对所有实验,。同样,我们选择书中建议的那样(11)和调优的变化。为比较RSTD [12),我们也使用的差异和在连续的迭代中对某种宽容作为停止准则。所有的实验都进行和时间在同一桌面奔腾(R)双核2.50 GHz CPU, 4 GB内存,运行在Windows 7和Matlab。
4.1。数值模拟
较低,阶张量生成如下。的张量方法工具箱(25)是用于生成一个三阶张量的大小和相对小排名(]。生成的张量是在塔克模型13)描述为。对这些秩条件,是核心张量与每个条目被采样独立于一个标准的高斯分布,和是,,系数矩阵生成的随机选择每个条目。不失一般性,我们让因子矩阵正交的。但一个主要的区别是排名总是沿着每个模式不同而列秩和矩阵的行秩相等。为简单起见,在本文中,我们设置模式-与相同的值。
稀疏的张量的条目独立分布,每个值0的概率1−spr,与概率spr每个承担脉冲值。恢复张量生成的是。
模拟实验中使用张量的大小,不同的排名和spr稀疏的比例。根据不同的参数调整和spr。复苏的质量是衡量相对平方误差(交易所)和,它被定义为
表1和2目前的平均结果为不同的稀疏系数(跨10实例)。结果表明,我们的算法MALM-TR优于RSTD效率或准确性。
4.2。图像恢复
我们的算法是图像恢复的一个简单应用。一样(12指出,我们的算法也假定结构良好的形象。虽然假设不合理的一些自然图片,它有许多应用程序结构化图像等视觉数据(例如,正面形象),CT / MRI数据和多光谱图像。在实验中,我们运用该算法在图像恢复的正面形象,也用于(12,17]。我们添加不同比例的随机脉冲噪声图像和比较MALM-TR RSTD。两种算法产生的结果在图所示1。
(一)
(b)
(c)
(d)
4.3。背景建模
另一个应用程序的算法来估计一个好的背景模型的变化(即一个场景。、背景建模)。在这种情况下,很自然的模型背景变化大约低等级。前景对象一般只占用一小部分图像的像素,因此可视为稀疏的部分。
我们测试我们的算法使用一个例子从[26]和与RSTD [12]。的视觉对比背景建模如图2。可以看出我们的算法是有效的分离是一个动态的场景的背景。结果也与RSTD相提并论。
(一)
(b)
(c)
4.4。交通数据恢复
在我们以前的工作(3,4),我们提出了两个tensor-based交通数据的应用程序的方法。在[3基于Tucker),一个张量归责方法分解了估计缺失值。作为一个精确的坐标和张量形式的缺失数据的数量可以观察和获得,因为如果一个元素的张量形式缺失,它没有价值,所以我们可以很容易认出它。而本文复苏低收入排名任意破坏的张量的一小部分基于跟踪规范和噪音规范优化。数量和损坏的坐标数据是未知的或不容易获得。这意味着很难认识到破损的数据,因为损坏数据值和不正确的数据分开。两篇论文解决的问题是两个不同的问题。文献[4)写的交通数据恢复应用程序这是同样的问题,将在本节中解决。提出的两种方法的主要区别是如何使用约束条件。文献[4)把约束条件最小化函数只有一个参数,目标函数包含不仅张量矩阵。然而,随着每个给定模式的规模和结构张量数据并不总是相同的,每个模式的张量的贡献最终结果可能会有所不同。为了利用尽可能多的信息约束条件,本文展开沿着每个模式和使用加权参数约束条件获得新版本约束条件的矩阵投入的最小化函数使用增广拉格朗日乘子战略。与不同的目标函数,优化过程也不同。可以找到更多的细节在4]。
在第四部分实验部分,我们将该算法应用于交通数据恢复。实验中使用的数据收集到一个固定的循环在萨克拉门托县和下载http://pems.dot.ca.gov/。数据的时间持续77天从3月14日到5月29日,2011年。交通量数据每5分钟记录。因此,每天交通量系列回路探测器包含288条记录。完成交通数据恢复算法,第一步是将质量流量数据转换成一个张量形式。在本部分中,我们选择八周完成交通量数据从77天。然后,8周数据形成一个张量模型的大小如图3所示。在这个模型中,“8”代表8周,“7”代表一个星期七天,和“288”代表一天288条记录。
在我们以前的工作(3),相似系数(27)已被用于分析多模高相关性(“链接”模式,“周”模式,“天模式”和“小时”模式)的流量数据统计特性的观点。交通数据的高multicorrelations,张量形式的大小可以用较低的近似-阶张量。
根据上面的描述,交通数据合理转换为一个张量形式,可以近似低收入阶张量。在交通数据恢复实验中,假设条目的一个子集张量形式的流量数据被随机脉冲噪声。嘈杂的比率将从5%到25%的公差5%。然后我们比较该方法与RSTD算法使用交易所为准绳。标准被定义为下面的函数说明:
表3汇总的rs与不同比例的交通数据稀疏脉冲噪声。特别是未还原的列礼物破坏数据和原始数据之间的比例。从表中数据可以看出MALM-TR获得的rs和RSTD远小于未恢复的数据,这意味着这两个算法可以改善的质量损坏数据。此外,rs MALM-TR小于RSTD。从图的曲线4,它是比RSTD生动地表明,我们的方法执行。
5。结论
在本文中,我们扩展矩阵恢复低的问题阶张量恢复和提出一个高效的算法基于混合物增广拉格朗日乘子法。该算法可以自动分离低-阶张量数据和稀疏的部分。实验表明,该算法更加稳定和准确的在大多数情况下,具有良好的收敛速度。不同的应用程序例子展示的广泛适用性算法在计算机视觉,图像处理,和交通数据恢复。
在未来,我们要研究如何自动选择算法中的参数张量恢复和发展更有效的方法问题。我们也将探索更多的应用程序的方法。
利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项研究是由国家自然科学基金委(批准号。61271376,61271376,91120010),中国国家基础研究计划(973计划:没有。2012 cb725405),北京自然科学基金(4122067)。作者要感谢本从威斯康辛大学麦迪逊分校的教授和勇圣母大学的李暗示的讨论。