商业视频评价通过低层特征提取和选择

文摘

发现的影响商业视频的底层特征的流行视频、特征选择方法应该被用来获取视频特性影响视频的评价主要是在分析源数据和视频的观众的评价。提取视频的底层特征后,本文改进了Correlation-Based特征选择(CFS)方法被广泛使用,提出一个名为CFS-Spearmen的算法,它结合了长枪兵相关系数和古典CFS选择特性。UCI机器学习数据库中的4个数据集被作为实验数据。实验结果与结果使用传统CFS相比,最小冗余和最大相关性(mRMR)。支持向量机是用于测试的方法。最后,该方法被用于商业视频的特征选择和最具影响力的特性集。

1。介绍

多媒体作为一种主要的商业,商业视频相关的公司和生产商的受欢迎程度而言。有许多因素影响了观众的评价商业视频,如演员、导演,和故事。如果这些因素被录用,但它太主观评估的视频。因为这些因素不是定量的评估过程。所以,设计一个模型来分析视频的重要性和计算他们的评价应由研究者意识到(1]。这篇文章(2)提出了客观视频质量评价方法基于运动和差异的信息。这篇文章(3)提出了一个基于四元数的视频质量评价方法奇异值分解。但只有少数视频功能被用于(2,3]。视频功能应该包括许多特性如颜色特征、运动特征,和拍摄功能可能很有可能影响视频的观众的评价。然而,最具影响力的特性集和它们之间的关系和视频人气仍不清楚。对于提取的所有特性,我们可以选择最具影响力的特性集通过特征选择方法根据商业视频的评价数据。的原因,特征降维方法也可以用在这里。

不同的特性集可能会选择不同的特征选择或降维方法。特征降维算法,如主成分分析(4,5),食品药品管理局(6],KPCA (7,8),将减少的特征,而会选择最优特征选择算法的特性集的原始特性。与降维算法相比,特征选择保持原始特征的物理含义,这是更方便的数据和功能之间的关系和视频的受欢迎程度分析(9]。

特征选择的主要思想是选择一些有价值的特性和删除无用的特征提取。方法,如嵌入方法,缓解(10],mRMR [11,慢性疲劳综合症(12,13),现在被广泛使用。

嵌入方法,稀疏正规化特征选择方法也广泛应用在某些研究领域如外观建模在视觉跟踪14- - - - - -16]。在这些方法中,规范(17](被称为套索,Tibshirani提出的在1996年)规范基于正则化模型研究了选择与联合稀疏特性在不同的任务(18]。这些方法选择特性通过添加一个惩罚项重量目标函数的机器学习模型,限制的重量模型的每个特性。特征选择在模型训练过程中,训练为零的特性系数被认为是作为冗余功能。最近,规范和规范基于模型的正则化方法吸引了越来越多的关注,因为它们可以获得比方法基于稀疏的解决方案ℓ₁规范和ℓ_2、1规范(19]。算法通常需要权衡之间的数据拟合损失函数项和稀疏项;因此不可避免地存在剩余损失函数。然而,对这样一个残留对特征选择的影响(20.]。

对于其他方法来说,只有和类之间的关系特点是关注在救援算法而不是特征之间的相关性。所以,选择的特性集不是最优(21]。mRMR算法,特征之间的相关性和feature-class担心得到最好的特性集(22]。分类器,所有的贡献mRMR相同,选择的特性和功能设置选择从原始特征。慢性疲劳综合症的主要想法是选择较低的特性集特性之间的相关性和更高的功能和类之间的相关性。这个过程后,多余的功能和特性不密切相关的类将被删除。皮尔森的线性相关系数是用于21,22]王Huanjing和Ningqing太阳来计算特性和feature-class之间的相关性。但只能以皮尔森线性相关系数公式。连续数据离散化方法或核密度估计方法应该被用来解决这个问题。这个过程将导致概率估计误差。

因此,相关计算的有效性CFS是成功的关键。目前,一些相关计算方法被许多研究者关注,我们应该根据实验结果选择最好的一个。除了皮尔森系数,其他一些相关计算方法现在被使用。斯皮尔曼等级相关系数是用于文章玛丽泰雷兹Puth [23)来描述两个向量的相关性。实验结果表明,斯皮尔曼等级相关系数比皮尔森系数。徐小袁的研究(24),斯皮尔曼等级相关系数来描述风速的相关性特征。冯京的文章(25),非参数方法提出了基于斯皮尔曼等级相关系数来衡量存储退化失效的原则。

斯皮尔曼等级相关系数尚未广泛用于特征选择。本文在提取商业视频底层特征包括颜色特征、运动特征,和拍摄功能,CFS-Spearman算法,用于处理四个数据集,包括“癌症”、“玻璃”、“银行”,“信用”,在UCI机器学习数据库。实验结果与CFS和mRMR相比。LibSVM分类器是用来测试CFS-Spearman的有效性。然后,本文的方法是用来选择的低级特征来预测他们的流行商业视频。结果表明,该方法比CFS, mRMR,ℓp-norm基于稀疏正规化特征选择。

2。视频低层特征提取

2.1。颜色特征

颜色是视觉的一个重要特性。颜色特性集结合10功能,包括均值和方差的亮度,对比度,饱和度,Colorfulness,简单。亮度计算的平均在每一帧的每个像素的亮度在HSV空间。它是类似的饱和度的计算过程。对比可以由以下公式表示: ,r, g, b代表红、绿、蓝一个像素的价值。Var是方差计算函数(26]。

Colorfulness是一个参数反映了图像的颜色组合。它被定义为 在这 意思是函数的输入值(平均27]。

吸引观众的注意力在电影制作的进步,导演和摄影师总是让幕后比对象简单。简单性是用来测量这个角色在一些文章。它是定义在[28),最后简单是每一帧的平均值。

2.2。运动特性

运动特性反映的场景或对象的改变率的视频。它可以被视为移动速度相机与拍摄对象。在本文中,运动特性计算如下。首先,每一帧分成 块。每一个块的像素重心,然后,坐标系n和n + 1帧比较获得相应的块的重心变化的速度在两个相邻帧。运动特性的意思是像素重心坐标变化的平均值和方差的运动特性是它的方差(29日]。

2.3。拍摄功能

拍摄视频评价功能也很重要。每拍摄一个视频,关键帧,这是位于镜头的边缘,首先应选择的视频(30.]。我们比较每两相邻帧的颜色直方图来计算相似度。关键帧选择后,四个特性,“镜头长度的意思”,“数”,“镜头的长度差异”,和“视频长度”,计算。

然后,16个功能,包括“亮度”,“对比的意思”,“饱和”,“Colorfulness说”,“简单的意思”,“亮度方差”、“对比差异”,“饱和方差”、“Colorfulness方差”,“简单方差”、“运动的意思”,“运动方差”、“拖车长度”,“数”,“镜头长度的意思”,和“镜头的长度差异”,如图1。

3所示。特征选择起诉慢性疲劳综合症

特征提取时,特性和视频评价之间的关系还不清楚。这是因为一些特性影响观众的评价,但其他人不视频。我们应该选择最具影响力的特性集视频的评价。这里介绍一些特征选择方法可能。

3.1。mRMR

mRMR是一个典型的特征降维方法使用互信息来测量两个特性之间的相关性和feature-class。列出的公式如下: 年代的特性集,是数量的特性,c类指数, 之间的互信息吗特性和c类 之间的互信息吗功能和特性。

x和y之间的互信息定义为 然后,我们得到特征选择的标准如下:

3.2。CFS算法

慢性疲劳综合症是一个简单的特征选择方法。计算每两个之间的相关性值特性和feature-class选择类最密切相关的特性。所示(9)和(10),这种方法试图最大化。 在上面的公式中,是一个衡量的特性集与k特性。平均相关性计算方法的x和y都是功能或特性和类。N是样本的数量。根据公式(10)、特性集年代的价值将大如果平均特性之间的相关性较小,平均特性和类之间的相关性更大。然后,是一个优化的特性集。该算法被称为皮尔逊相关系数。

3.3。斯皮尔曼等级相关系数

皮尔森相关系数是采用传统的慢性疲劳综合症。但也有一些其他相关计算方法可以测试。斯皮尔曼等级相关系数就是其中之一。它可以定义如下: 在上面的公式中,我们首先定义随机变量X和Y与N样本 。然后,让和的排名和在相应的样本。和样品的平均排名。斯皮尔曼等级相关系数描述的单调依赖变量X和y方向单调可以认可的标志 。当Y折痕与X皱折,的迹象是积极的,消极的相反。与X Y不会改变的迹象是0。

线性相关系数是一种广泛使用的相关测量和计算是很容易的。当随机变量椭圆分布,线性相关系数可以表达变量之间的相关性。但短点时,它是不存在的变量的一线和二阶力矩不能得到,其价值应该改变分布函数的变量改变时,非线性严格增加后,变量之间的线性关系将改变(24]。这是最重要的,不能准确表达的关系而不分配的变量为椭圆分布。

斯皮尔曼等级相关系数是一种非参数统计方法。我们的等级相关系数两个变量X和Y ,然后 在这和的累积概率和 ,分别。

两个随机变量的等级相关系数的线性相关系数累积概率分布函数表示为 。如果它存在的逆函数,变量分布为均匀分布因为下面的公式: 因此,等级相关系数只是一个表达式的关系从原变量变换后在均匀分布的变量。与线性相关系数相比,等级相关系数的优势如下:总是存在的;不会改变与边缘分布;严格的非线性变换后不会改变。因此,本文选择测量功能和特性或特性和类之间的关系。

4所示。特征选择的实验分析

证明的有效性CFS-Spearman特征选择方法在这篇文章中,4个数据集,包括“乳腺癌”、“玻璃”、“银行”和“信用”在UCI机器学习数据库中,作为实验数据。4数据集的详细信息列在表中1。在实验过程中,CFS-Spearman特征选择法选择最重要的特点和支持向量机分类是用来测试选中的特性集。在实验中,1/10的随机选择的样本作为测试数据和其他人被用作训练数据。这个分类过程是为每个数据集重复10次。正确分类率的平均值显示在表和数据证明了该方法的有效性。

实验结果得到了Matlab和LibSVM工具盒。CFS-Spearman特征选择的结果也与原来的CFS相比,mRMR,ℓp-norm基于稀疏正规化特征选择方法如表所示。在表中3和8、加权字体CFS-Spearman的正确分类率高于或等于慢性疲劳综合症,mRMR,ℓp-norm。为ℓp-norm基于稀疏正规化特征选择,我们获得的不同设置 在每一个实验。这个参数被选择使用SVM分类结果。

表2显示了数据集的8类特性和“乳腺癌”。如表所示3,CFS-Spearman特征选择方法,原始CFS, mRMR,ℓp-norm (p = 0.9)被用来选择在这个数据集的特性。的结果,很明显,在大多数特性集选择的特性是不同的。但如果使用由CFS-Spearman特征选择,正确分类率高于或等于其他方法在所有情况下。

在第二个实验中,数据集是“玻璃”。我们可以评估是否一块玻璃是浮法玻璃或不根据化学元素。这些元素被列在表中4。一样的第二个实验中,第三个是关于一个人可能是银行的一员。9特性,比如“年龄”、“起居室”,“收入”,等等,都列在表中5。最后一个实验是“信用程度”。这个数据集有14个特征如表所示6。

在图所示的正确分类率2。在图中,(一个)显示数据集的分类结果“乳腺癌”。红色曲线是慢性疲劳综合症的正确分类率1功能的情况下,2特性,7特性。绿色曲线为CFS-Spearman mRMR和蓝色的。粉色曲线ℓp-norm (p = 0.9)。结果在这个subfigure表中的数据一样3。

图2 (b)显示数据集的分类结果“玻璃”使用不同的特征选择方法。CFS-Spearman算法的正确分类率在1功能的情况下,2特性,比原始CFS 7特性好,mRMR,ℓp-norm (p = 0.7)。但如果我们选择8特性,CFS-Spearman算法的正确分类率低。4特性选择时,正确分类率最高,功能设置包括功能1,3,4,5对应表4。

如图2 (c)为数据集“银行”,CFS-Spearman算法的正确分类率在1功能的情况下,2特性,对8特性优于或等于原始CFS, mRMR,ℓp-norm (p = 0.7)。正确分类率都是81.25%。对应表5,当我们选择2的特性,是由功能1和6的特性。4功能选择时,一组是1结合特性,功能,特点7,8和特性。

图2 (d)显示数据集的分类结果“信用”使用不同的特征选择方法。CFS-Spearman算法的正确分类率在1功能的情况下,2特性,13-features优于或等于原始CFS, mRMR,ℓp-norm (p = 0.9)。超过9特性选择时,正确分类率达到最大值84.2%,和九集包括功能3,5,6,7,9,11、12、13日和14日对应表4。

从图2,在大多数情况下,正确分类率增加特征数直到一个特征数的增加,然后降低。所以,如果我们想做一个分类与一些功能如表所示8,并不是所有的功能都是必要的。一些更重要的功能应该选择适当的特征选择方法。

5。视频流行预测

摘要CFS-Spearman特征选择方法用于视频低层特征选择视频的流行预测。低级特性集包括16个特征表现在本文的第二部分。有300个视频,从“Youtube”下载,用于实验。16为每个视频特征提取和序列号显示在表7。

评估他们的人气,观众的“喜欢/不喜欢的”选票数字用来计算所示的受欢迎程度 LN的投票数量的“喜欢”和DN是“不喜欢”的投票数视频。我们将4.7作为阈值分类为“好”的视频和“坏”的视频。这意味着如果一个视频的得分高于或等于4.7,这是一个很好的视频。否则,它被认为是坏的。提取的特征都是列在表中7。我们使用了四种方法选择特性,选择结果见表8。如果所选特征用于分类两类的视频,好和坏,正确分类率表中列出8。

SVM分类结果表明,大多数CFS-Spearman方法的正确分类率都高于其他两个的。当特征数是3,正确分类率最高的是78%。在这种情况下,功能”是指对比”,“简单的方差”,“镜头的长度的方差”被选为最具影响力的特性。因此,他们可以作为预测商业的流行视频的特性集。

正确分类率曲线在图3。

结果在表8通过SVM使用选定的特性集。最近,一些分类方法与深度学习收到了广泛的关注。CNN(卷积神经网络)是一个很受欢迎的一个。比较分类有效性,CNN是为了测试视频的流行的预测在这部分使用选定的三个特性。CNN使用本文的设计如图4。首先,所选的功能集,包括功能1,3,4,5,6,7,被作为CNN的原始输入数据。因为其他特性,比如“方差运动”和“镜头的长度的方差”,只是一个标量但不是向量或矩阵。

使用支持向量机相比,6特性(特性1、3、4、5、6和7)并不意味着在整个视频的每一帧的值,而是统一选择500帧从一个视频和计算6个特征在每个选定的帧。然后,我们得到输入数据的大小是500×6 CNN。这个框架的参数设置如下。卷积和池过程重复3次。6的功能,相互之间没有任何关系。所以,卷积核的大小设置为[m, 。设计如下所示的参数。

第一次,m₁= 51 k₁卷积= 500,有4层的过程。然后,功能图C的大小₁4 @ (450×6)。第一次池处理后p = 2,特征图的大小₁4 @ (225×6)。第二次,m₂= 76 k₂= 225,和卷积有10层。功能图C的大小₂10 @ (150×6)。大小的地图功能₁10 @ (75×6)。第三次,m₃= 75 k₃= 75,功能图的大小₃10 @ (1×6)。我们把年代₃一个列的鞋子大小(60×1)。然后,视频的3特性转换为新特性集60数字。Softmax分类后,获得的结果。实验重复10次,如表所示9使用支持向量机,就像实验。测试结果表明,平均正确分类率为61.6667,这是远低于SVM使用3选择功能。因为16功能最标量不适合CNN分类。

如果我们使用整个视频或一些帧作为CNN的输入数据,根据CNN的特点,它只注重输入数据之间的差异的卷积过程或试图得到的边缘图像或视频。所以,特性,比如三选一,这被证明是有影响力的特性的流行视频,不会计算在CNN框架。

6。结论

本文研究商业视频低层特征选择方法的流行预测。选择更有影响力的功能特性,本文提出了一种CFS-based斯皮尔曼相关系数的方法来进行最初的皮尔森相关系数。测试方法,使用UCI机器学习数据库中的数据作为实验数据来源。原始CFS mRMR,广泛使用的算法,规范基于稀疏正规化特征选择,本文给出的方法称为CFS-Spearman算法使用数据进行比较。四个结果表明本文的方法是比其他的更好。

然后,选择有影响力的低级功能为商业视频,300年从Youtube视频下载。为每个视频、16个特征提取和视频分为两类,“好”和“坏”根据他们的分数计算通过“喜欢/不喜欢”数量由观众投票。CFS-Spearman时所选择的特征数是3,正确分类率是最高的一个是78%。的特性称为“均值对比”,“简单的方差”,“镜头的长度的方差”被选为最有影响力的。

最后,支持向量机分类与流行的分类方法CNN。结果表明,由于16特性最标量,支持向量机更适合这一目标。

附录

见表10。

数据可用性

使用的数据来支持本研究的结果包括在本文中。

的利益冲突

作者宣称没有利益冲突。

确认

本文的研究工作是科技发展项目基金支持的吉林省科学技术厅、中国(没有。20150414051 gh)。

引用

1. l .象不视频质量评价方法的研究,浙江大学,2012。
2. 彭译葶。妈,S.-M。李,R.-Z。妈,d .朱和x。郭”,基于运动的立体视频质量客观评估和差异信息,“《光电激光,24卷,不。10日,2002 - 2009年,2013页。视图:谷歌学术搜索
3. F.-Q。张,J.-L。李,李·g·j j。人,陈,“视频质量评估基于四元数的奇异值分解,“《电子学报》,39卷,不。1,第223 - 219页,2011。视图:谷歌学术搜索
4. 杨黄,d、g .释永信x张”组合与PCA监督信息通过区别的组件选择,”信息处理信件,卷115,不。11日,第816 - 812页,2015年。视图:出版商的网站|谷歌学术搜索|MathSciNet
5. A . Vinay c·库马尔,R g . Shenoy et al .,“ORB-PCA人脸识别的特征提取技术,”Procedia计算机科学58卷,第621 - 614页,2015年。视图:谷歌学术搜索
6. e . v .派崔吉p c . Gareiss m . s . Kinch d·w·霍耶,“向fda批准的药物分析原始研究的贡献,”药物发现治疗,20卷,不。10日,1182 - 1187年,2015页。视图:出版商的网站|谷歌学术搜索
7. s . a . Vinay v . s . Shekhar,安全没吃et al .,“面部识别使用PCA和KPCA-A伽柏小波特性比较研究,“Procedia计算机科学57卷,第659 - 650页,2015年。视图:谷歌学术搜索
8. z Xiao-guang,郑,x Gui-yun et al .,“一种特征选择算法结合在类方差与相关措施,”哈尔滨理工学院杂志》上,3卷,不。03年,132 - 136年,2011页。视图:谷歌学术搜索
9. z Dechuan z志华,“相关投影参考特征选择算法,”计算机科学与技术的前沿》杂志上,1卷,不。2、138 - 145年,2007页。视图:谷歌学术搜索
10. 达赖,b . Chatterjee d·戴伊s Chakravorti和k·巴塔查里亚,“Rough-set-based特征选择和分类对电能质量传感装置采用相关技术,”IEEE传感器杂志,13卷,不。2、563 - 573年,2013页。视图:出版商的网站|谷歌学术搜索
11. h。许和C.-W。谢”,通过相关系数聚类特征选择,”软件学报,5卷,不。12日,第1377 - 1371页,2010年。视图:谷歌学术搜索
12. p . Moradi和m . Rostami”图理论为无监督特征选择方法,”人工智能技术的工程应用卷,44 33-45,2015页。视图:出版商的网站|谷歌学术搜索
13. y z, j . Liu Yang x,和h,“Clustering-guided稀疏结构为无监督特征选择学习,”IEEE工程知识和数据,26卷,不。9日,第2150 - 2138页,2014年。视图:出版商的网站|谷歌学术搜索
14. x局域网,a·j·马和p . c .袁”Multi-cue视觉跟踪使用健壮的特性融合基于联合稀疏表示,”美国27日IEEE计算机视觉与模式识别会议(CVPR 14)哥伦布,页1194 - 1201年,哦,美国,2014年6月。视图:出版商的网站|谷歌学术搜索
15. x局域网,a·j·马,p . c .袁和r . Chellappa”联合稀疏表示和健壮的特性融合multi-cue视觉跟踪、”IEEE图像处理,24卷,不。12日,第5841 - 5826页,2015年。视图:出版商的网站|谷歌学术搜索|MathSciNet
16. 张x局域网,s, p . c .袁和r . Chellappa”学习常见和feature-specific模式:小说multiple-sparse-representation-based追踪,”IEEE图像处理,27卷,不。4、2022 - 2037年,2018页。视图:出版商的网站|谷歌学术搜索|MathSciNet
17. r . Tibshirani“回归通过套索收缩和选择,”英国皇家统计学会杂志》:系列B(统计方法),卷。58岁的没有。1,第288 - 267页,1996。视图:谷歌学术搜索|MathSciNet
18. 美国,聂,g .孟c .锅和c,“有识别力的最小二乘回归的多级分类和特征选择,”IEEE神经网络和学习系统,23卷,不。11日,第1754 - 1738页,2012年。视图:出版商的网站|谷歌学术搜索
19. d和c .叮,学习通过“非凸特性l_p,∞符”,美国国家关于人工智能的会议2014年7月,页1918 - 1924。视图:谷歌学术搜索
20. h·彭和y的粉丝,“直接稀疏优化为基础的多层次分类、特征选择”学报25日人工智能国际联合大会(IJCAI”展出16)2016年7月,页1918 - 1924。视图:谷歌学术搜索
21. t . m . h . Wang Khoshgoftaar, a·纳波利塔诺”滤波器的稳定性和wrapper-based软件度量选择技术,”学报》第十五届IEEE国际会议信息重用和集成(IEEE IRI的14)Redwod城市,页309 - 314年,加州,美国,2014年8月。视图:谷歌学术搜索
22. 美国Ningqing”,一个基于神经网络的网络入侵检测系统和cfs-based特征选择,”计算机工程与科学,32卷,不。6,37-39,2010页。视图:谷歌学术搜索
23. M.-T。Puth、m·纽豪斯和gdp Ruxton”有效使用枪兵和肯德尔相关系数两种测量特征之间的联系,“动物行为卷,105年,第84 - 77页,2015年。视图:出版商的网站|谷歌学术搜索
24. x, z, d, l .曹,y . Wang”概率负载流量的计算基于秩相关系数输入随机变量,“电力系统自动化,38卷,不。12日,54 - 61年,2014页。视图:谷歌学术搜索
25. j .冯”一致的测试的加速贮存退化失效机理基于等级相关系数,”《航天实力,26卷,不。11日,第2444 - 2439页,2011年。视图:谷歌学术搜索
26. m·j·斯温·d·h·巴拉德,“颜色索引、”国际计算机视觉杂志》上,7卷,不。1,11-32,1991页。视图:出版商的网站|谷歌学术搜索
27. Hasler和s . Susstrunk卷“实际图像,测量colorfulness”。5007年,第95 - 87页,2003年。视图:谷歌学术搜索
28. j·s·佩德罗和s . Siersdorfer”排名和在大众分类法分类照片的吸引力,”18学报》国际万维网会议(WWW ' 09),第780 - 771页,马德里,西班牙,2009年4月。视图:谷歌学术搜索
29. l .谊文和t . Xiaoou”,照片和视频质量评价:关注这个话题,”欧洲计算机视觉的诉讼,第3部分,页386 - 399,马赛,法国,2008年10月。视图:谷歌学术搜索
30. s . k . Kuanar r .熊猫,a . s . Chowdhury”视频关键帧提取通过动态德劳内集群结构限制,”杂志的视觉传达和图像表示,24卷,不。7,1212 - 1227年,2013页。视图:出版商的网站|谷歌学术搜索

版权

版权©2018年《Lun等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。