视频类型分类使用加权内核逻辑回归

文摘

由于视频的语义差距扩大,计算工具对这些视频进行分类到不同的流派是高度需要缩小。视频数据的视频分类准确要求良好的表示和一个有效的和有效的模型进行分类的任务。内核逻辑回归(KLR),内核版本的逻辑回归(LR),证明了作为一个分类器的效率,可以自然地提供概率和扩展到多类分类问题。摘要加权内核逻辑回归(WKLR)算法实现对视频类型分类获得显著的准确性,和它显示准确和更快的好结果。

1。介绍

最近,视频使用收益越来越重要,尤其是在最近的互联网技术的发展和数字媒体;人访问大量的数据通过互联网和电视。人们很难找到感兴趣的视频在这些大量的数据,当有必要时,使用它们,这不是可行的观看所有视频搜索感兴趣的一个。利用基于内容的视频片段不断的需要对于许多应用程序,例如,检索视频序列,创建自动视频摘要,或检测特定的行动或活动视频监控(1]。许多作品完成处理视频分类问题,分类视频在某些类别或类型,桥宽计算底层特征和高层语义差距概念和帮助人们找到他们感兴趣的视频在狭窄的领域。好地理解视频内容,已研制出许多不同的技术和不同的视频功能已确定更好的视频表示。许多技术用于视频分类如贝叶斯、隐马尔科夫模型(HMM),高斯混合模型(GMM),神经网络(NN)和支持向量机(SVM)。支持向量机被认为是最先进的二进制数据分类算法通过其内核的实现。哦等人开发的总体框架进行视频数据挖掘的基本任务是视频序列的时间分割和特征提取以及如何捕获运动发生在一段的位置,如何集群这些分割的部分,如何找到一段是否正常或异常事件(2]。陈等人提出了一种多媒体数据挖掘框架提取足球足球视频事件目标,利用多通道分析和决策树相结合(3]。李等人还提出了一个通用框架,用于索引和总结体育广播节目,体育广播视频的高级模型使用一个事件的概念,定义根据特定领域知识对不同类型的运动(4]。钟和常呈现出总体框架和有效的算法来检测的句法结构水平高于照片(5]。风扇等人提出框架来实现更有效的语义视频分类通过整合标记样本数量有限的标记样本(6]。

Petrushin描述了一种有效的方法寻找稀有和频繁的视频事件和构建一个健壮的GMM分类器识别实时室内监测(传入的事件7]。Hervieu等人提出了一个trajectory-based嗯视频内容理解的框架来解决三个任务:无监督聚类的事件,事件的识别相应的动态视频学习课程内容,和意外事件的检测1]。亚当等人提出一种新颖的算法基于多个本地监控收集低级统计检测某些类型的不同寻常的事件(8]。Shirahama等人发明了一种方法来检索事件感兴趣的视频档案使用“粗糙集理论提取多个分类规则,每个正确识别的一个子集的事件(9]。

Maalouf et al。10,11]表明内核逻辑回归(KLR),内核版本的逻辑回归(LR),证明了作为一个分类器的效率,可以自然地提供概率和扩展到多类分类问题。KLR用于许多原因;首先,LR和KLR研究,他们不独立变量的分布进行假设,和最后一个原因,他们可以扩展来处理多类分类问题。因此正确的算法,可以减少计算时间小于其它方法,如支持向量机(SVM),它需要解决约束的二次优化问题。

本文将实现加权内核逻辑回归(WKLR)视频类型分类的算法,因为它有直接概率输出和它直接可以延长处理多类分类,不像SVM。剩下的纸是组织如下:部分2解释逻辑回归和内核逻辑回归模型,部分3描述了视频特征提取部分4提出了该方法,部分5实验结果描述,部分6总结了纸。

2。逻辑回归和内核逻辑回归模型

2.1。逻辑回归

在逻辑回归,一个结果变量,编码1的概率和0的概率。然后随着一些解释变量的函数,如在数学上表示为下面的公式是Maalouf等人,国王和曾庆红(10,12]: 在哪里是一个向量的参数的假设因此,拦截是一个常数项。这假设拦截是包含在向量从现在起将会继续。物流(分对数)的对数转换的可能性的积极响应和被定义为 分对数函数可以用矩阵表示形式 正规化的日志被定义为可能性 在正则化(点球)术语添加到获得更好的泛化。

对于二进制输出,损失函数或异常DEV负对数似然,给出的公式

2.2。内核逻辑回归

对内核逻辑回归和后Maalouf et al .,向量可以表示为一个线性组合的输入向量如下(10]: 的向量被称为二元变量的维度,。现在分对数向量可以写成 在哪里对称半正定格拉姆矩阵维度。

再考虑到分对数链接功能先前所显示的, 的向量是由,。这个线性函数表示的简单的形式标识映射多项式基函数这样的功能空间 所以分对数函数可以写成的链接 一般的函数,将数据从低维空间映射到高维空间,这样 选择映射的目的是把非线性响应变量和自变量之间的关系为线性关系,Maalouf和Trafalis11]。

分对数关联函数的KLR然后可以表示为 在哪里是在内核行矩阵。美世(Mercer)的充分必要条件必须满足在内核转换函数,哪个州,必须表示为内积核函数,必须积极和半定,Maalouf和Trafalis11]。现在 这意味着 因此,正规化可以改写关于可能性作为 与异常 迭代再加权最小二乘(irl)方法是一种最受欢迎的技术用于发现的大中型企业LR模型,利用牛顿迭代算法解决分数方程。使用irl KLR模型也可以安装。每个迭代发现加权最小二乘(WLS)估计对于一个给定的权重,用于构建一套新的权重哦et al。2]。梯度和黑森是通过区分ln关于。矩阵形式的梯度 在哪里给出了概率向量的元素(14)。和黑森与尊重是 在哪里是一个对角矩阵,对角元素为。关于牛顿-更新在- - - - - -th迭代是 自,然后(10)可以写成 在哪里是调整因变量或调整后的反应。

2.3。WKLR算法

考虑 是一个系统和内核矩阵线性方程吗向量的调整反应,加权矩阵,都取决于重量和响应向量,这是当前估计的参数向量,因此指定一个初始估计为可以解决迭代,利用共轭梯度(CG)方法,相当于减少二次问题吗 为了避免CG可能遭受长计算,极限可以放在CG迭代的数量,从而创建一个近似或截断牛顿方向,Maalouf和Trafalis11]。

算法1描述了迭代加权内核逻辑回归最大似然估计(IWKLR程序使用irl。

3所示。视频特征提取

提取适当的特性对可接受的任何模式分类器设计是至关重要的。在视频分类研究中,所使用的特点可分为三种文本功能,音频功能,和视觉功能;一些研究将功能划分为两个主要类别:文本和非文本特征,后者分为低级和语义视频功能。文本特征包含文本从视频中提取和用户文本功能。非文本特性特征提取图像、音频和运动;这样的特性可以被称为低级特征可以被定义为特征提取视频剪辑和音频轨道没有引用任何外部知识(13,14]。研究使用的一些特性,对应于电影视觉特性的原理是由颜色、运动和每个镜头的长度。一个困难在使用低级特性尤其是视觉特征是大量的数据,和最常用的解决方案是使用一个关键帧表示这张照片或使用降维技术,如主成分分析(PCA)和小波变换的应用13,15,16]。广泛用于离散变换特征提取和减少数据冗余。确定性转换比例优势使他们一个有趣的类型的特征提取方法。的一个重要离散变换,离散余弦变换(DCT)和DCT的特殊性质使它成为一个强大的变换在视频处理应用程序(17- - - - - -20.]。DCT为解相关数据的能力。有DCT快速算法的实现。当运用DCT视频,选择系数和其他一些被丢弃的降维的数据。DCT系数的选择是一个重要的特征提取过程的一部分。DCT特征提取是由两个步骤:第一个DCT是应用于整个关键帧获取DCT系数,然后在第二步中选择一些系数构造特征向量。DCT系数矩阵的大小是一样的输入框。DCT本身不降低数据维度,所以它最信号信息压缩系数的小百分比。DCT系数框架计算如下(18]: 在哪里被定义为 是框架强度函数,是2 d DCT系数矩阵。如前所述,DCT系数矩阵是一样的帧大小和获得可行的和紧凑的低维表示特性,可以使用PCA (21]。鉴于N维维特征向量(),平均向量计算的 和协方差矩阵计算 然后第一主成分假设重要的特征向量,也就是说,。通过构造的特征矩阵的维度,任意维原始特征向量可以表示成一个新的低维向量,,(21]。在我们的方法处理球或场景的概念,把一个关键帧来代表整个拍摄或场景。有不同的中提取关键帧的算法实现;大多数这些算法依赖于运动部分提取关键帧。提取关键帧后,我们使用DCT获取DCT系数。应用PCA对DCT系数选择最重要的DCT系数。

4所示。该方法

本文第一枪检测用于从输入视频中提取关键帧;镜头检测,因为它是更复杂的方法用于视频摘要(19,22]。其次我们构建和变量;变量代表的特点DCT_PCA所代表的数据,所拍摄的视频手动设置变量确定拍摄的视频。然后特性应按比例缩小的值在0和1之间使用以下方程: 这种扩展的优点是避免特性在更大的数字范围控制在较小的数值范围。另一个优点是避免在计算数值困难当大特征值可能会导致数值问题。最终实现WKLR准备数据分类旨在实现显著的准确性,使WKLR视频分类的有效方法。

4.1。性能的措施

马修斯预测质量评估使用五个措施:相关系数(MCC),预测,正值(PPV)的敏感性和特异性。FP:假阳性,FN:假阴性,TP:真正的正面,和TN:真阴性。马修斯相关系数可以在−1比1,1是一个完美的相关性和−1是完美的anticorrelation。值为0表示没有相关性。它的值可以计算如下:

正确分类的百分比残留,也称为预测精度。它给出如下:

PPV预测积极的价值,也称为精度或。它给出如下:

灵敏度也被称为回忆和分数的正面例子是正确预测,并计算如下:

特异性的分数总负面例子正确预测;它的值可以计算如下:

5。实验结果

前面提到的步骤是测试组从youTube和优酷下载的视频网站,包含三个类别,新闻,体育,电影,选中的帧的视频几乎是大约10000帧来测试该方法的准确性。在训练阶段,数据随机分布,该算法的大中型企业的实施WKLR 10倍交叉验证,和最大迭代次数设置为30截断牛顿法。

图1、表1和2显示每个类别的精确性和分类性能与其他两类

如表所示2,使用相同的高斯核的KLR表明,提出的方法可以获得相当大的改善性能在中小规模数据集;我们建议的方法的平均精度为88%,而86%的准确率的工作(23),最后提出了改善无约束的新技术基于利用弱标签网络视频人脸识别。KLR也优势包括KLR直接扩展多级分类,它可以产生概率输出没有干预。

6。结论

提出了加权内核逻辑回归(WKLR)为了提高分类的准确性和处理时间视频,显示容易实现关于性能和良好的可接受的结果。使用WKLR的好处之一是,它使用算法相比不复杂的无约束最优化方法用于约束优化方法,如支持向量机算法。另一个好处是,WKLR irl速度的优势和内核的力量的方法。未来的研究可能比较该方法使用不同的内核和测试算法更多的数据集。他们也试图改善算法的速度。信赖域牛顿等方法也可以使用,因为他们的稳定和严格的数学推导。

引用

1. a . Hervieu p Bouthemy, j . p . l .干部“视频事件分类和检测,采用2 d轨迹”学报》第三届国际会议上计算机视觉理论和应用程序(VISAPP 08年)2008年1月,页158 - 166。视图:谷歌学术搜索
2. j . h .哦,j·李,s . Kote”多媒体数据挖掘原始视频序列,框架”挖掘多媒体和复杂的数据,35页,2003年。视图:谷歌学术搜索
3. s . c . Chen >。害羞的,来说m·陈,c .张“决定基于树的多通道数据挖掘框架足球目标检测,”学报IEEE国际会议多媒体和世博会(ICME)IEEE,页265 - 268年,2004年6月。视图:谷歌学术搜索
4. b . Li j . h . Errico h .锅和Sezan,“缩小语义鸿沟在体育视频检索和自动摘要),“杂志的视觉传达和图像表示,15卷,不。3、393 - 424年,2004页。视图:出版商的网站|谷歌学术搜索
5. d .钟和s . f . Chang“实时视图识别和事件检测为运动视频中,“杂志的视觉传达和图像表示,15卷,不。3、330 - 347年,2004页。视图:出版商的网站|谷歌学术搜索
6. j .风扇h·罗,j·肖和l .吴”语义视频分类和特征子集选择根据上下文和概念的不确定性,”第四届ACM和IEEE学报》联合会议上数字图书馆;全球影响力和多样化的影响(JCDL ' 04)IEEE,页192 - 201年,2004年6月。视图:谷歌学术搜索
7. v . a . Petrushin“矿业罕见和频繁使用自组织映射多个摄像机监控录像事件,”第11届ACM SIGKDD学报》国际会议上知识发现和数据挖掘(KDD ' 05)ACM,页794 - 800年,2005年8月。视图:出版商的网站|谷歌学术搜索
8. 答:亚当,e . Rivlin i尼吉夫,d . Reinitz”强大的实时异常事件检测使用多个固定地点监视器、”IEEE模式分析与机器智能,30卷,不。3、555 - 560年,2008页。视图:出版商的网站|谷歌学术搜索
9. k . Shirahama y松岗,k . Uehara”视频事件检索从少量使用粗糙集理论的例子,”先进的多媒体模型,第106 - 96页,2011年。视图:谷歌学术搜索
10. m . Maalouf t . b . Trafalis, Adrianto,“内核使用截断牛顿法逻辑回归,”计算管理科学,8卷,不。4、415 - 428年,2011页。视图:出版商的网站|谷歌学术搜索
11. m . Maalouf和t . b . Trafalis健壮的加权内核逻辑回归的不平衡和罕见的事件数据,”计算统计和数据分析,55卷,不。1,第183 - 168页,2011。视图:出版商的网站|谷歌学术搜索
12. g .国王和l . c .曾“解释国际关系中罕见的事件,”国际组织,55卷,不。3、693 - 715年,2001页。视图:出版商的网站|谷歌学术搜索
13. d . Brezeale和d·j·库克,“自动视频分类:文献的调查,“IEEE系统,人与控制论C,38卷,不。3、416 - 430年,2008页。视图:出版商的网站|谷歌学术搜索
14. a·a·m·哈米德z .小明,c .徐et al .,“视频类型分类,采用支持向量机集成”国际期刊的数字内容工艺及其应用》第六卷,没有。15日,第200 - 191页,2012年。视图:出版商的网站|谷歌学术搜索
15. h .周t .何曼思a . v . Karandikar和j·m·Rehg“电影流派通过场景分类,分类”学报》国际会议多媒体10(毫米)ACM,页747 - 750年,2010年10月。视图:出版商的网站|谷歌学术搜索
16. z拉希德,y酋长和m .沙”的使用可计算特性对于电影分级,”IEEE电路和系统视频技术,15卷,不。1、52 - 64年,2005页。视图:出版商的网站|谷歌学术搜索
17. a . Girgensohn和j·富特“视频分类,采用变换系数”IEEE国际会议上声学学报》,演讲,和信号处理(ICASSP ' 99)IEEE,页3045 - 3048年,1999年3月。视图:谷歌学术搜索
18. s . Dabbaghchian m p Ghaemmaghami, a . Aghagolzadeh”特征提取使用离散余弦变换和歧视权力分析的人脸识别技术,“模式识别,43卷,不。4、1431 - 1440年,2010页。视图:出版商的网站|谷歌学术搜索
19. c . A . Dhawale s . Jain,“一个新颖的方法对关键帧选择视频摘要,“亚洲信息技术杂志》上,7卷,不。4、133 - 137年,2008页。视图:谷歌学术搜索
20. m . Heckmann k . Kroschel c Savariaux et al ., 2002年视听语音识别,基于dct的视频功能。
21. l .问:徐和李y“视频分类使用时空特性和PCA,”多媒体和世博会的国际会议(ICME ' 03),3卷,第488 - 485页,IEEE, 2003年7月。视图:出版商的网站|谷歌学术搜索
22. m . Mentzelopoulos和a . Psarrou“帧提取算法使用熵差,”学报第六届ACM SIGMM国际研讨会上多媒体信息检索(MIR 04年)2004年10月,ACM 39-45页。。视图:谷歌学术搜索
23. d . Rim k·哈桑,c .朋友“半监督学习在野生面临和视频,”《英国机器视觉会议j·霍利,s .麦肯纳,e . Trucco Eds。2011年9月,页,3.1 - -3.12。视图:谷歌学术搜索

版权

版权©2013艾哈迈德·a·m·哈米德等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。