文摘
针对边缘检测精度低的问题,电影和电视镜头,一个新的筛选提出了基于功能的镜头检测算法。首先,多个帧的图像读取时间序列和转化为灰度图像。帧图像进一步划分成块,每一块的平均梯度计算构建电影动态纹理。相邻帧的动态纹理的相关性和匹配程度的两帧进行比较,筛选的特性和predetection结果根据匹配结果。接下来,与下一帧的动态纹理和筛选功能的步长小于人眼刷新频率,得到最终结果。通过实验对多个组不同类型的影视资料,可以获得较高的召回率和准确率。本文算法可以检测复杂的渐变镜头结构和获得较高的检测精度和召回率。基于模糊聚类的镜头边界检测算法实现。算法可以检测突变/渐变镜头的同时没有设置一个阈值。它可以有效地减少影响镜头检测的因素,如flash,电影,电视,广告,可以减少相机运动的影响在电影和电视的界限。 However, due to the complexity of film and television, there are still some missing and false detections in this algorithm, which need further study.
1。介绍
视频是最复杂的多媒体数据类型,它不仅包含静态图像的内容还包括场景中目标的运动信息和客观世界的信息随着时间改变。的大量的数据和非结构化特征电影和电视使它很难进行有效的影视检索。传统的影视检索主要依靠手工定义关键字的电影和电视。虽然这种检索方法简单,它有很多缺点。例如,电影和电视中所包含的丰富内容很难描述全面简洁的单词;它是一种主观的行为标志着一个完整的影视片段通过雇佣人。一般来说,对于小电影和电视部门,如影片的镜头,我们只能用快进,快回来,和其他方法来确定准确的位置信息,这将导致额外的传输带宽开销。
镜头边界检测是基于内容的影视检索系统的基础。许多学者和机构正在进行相关研究基于内容的影视检索和开发了各种电影和电视数据检索系统,反映影视检索系统研究的主要成果(1,2]。QBIC(查询图像内容)系统是一个典型的基于内容的检索系统的代表。它允许用户查询大量图片和电影数据库使用样本图像,素描,色彩和纹理模式选择、透镜和目标运动,和其他信息。影视系统的功能包括镜头的自动分割、关键帧提取,静态查询样例和文本和标题内容查询(3,4]。它提供了一组工具,人们在网络上搜索和检索图像和视频,它可以实现在互联网基于内容的视频/图像检索(5,6]。视频允许用户使用视觉特点和检索时间和空间之间的关系,电影和电视,并整合文本和视觉搜索方法,自动视频对象分割和跟踪,和丰富的视觉特征库,包括颜色、纹理、形状、运动、交互式查询,浏览互联网上(7,8]。根据发表的那篇只有两段文字的算法基于影视内容和音频内容、电影和电视会自动分成大量的影视剪辑与逻辑语义,和标题译码器和指示器添加到提取文本信息,和影视编辑索引(9,10]。由于复杂的镜头,镜头边界检测的问题还没有完全解决(11]。传统的镜头边界检测算法主要包括edge-based算法,基于直方图算法45,像素差分法(12]。edge-based镜头边界检测算法不适合复杂的帧图像内容的影视镜头边界检测。基于直方图的镜头检测算法,从统计的角度来看,统计数据帧的像素颜色分布图像或图像的灰度分布,可以更好地适应的低速运动相机镜头中的设备和对象。此外,该方法还具有较低的计算复杂度。缺点是当光强度变化和镜头移动迅速,获得的直方图将被扭曲,这将导致错误检测。像素差分法具有计算复杂度低,但它是非常敏感的像素亮度变化和光线变化引起的相机的运动设备和影视中的对象,这可能会导致镜头错误检测(13,14]。近年来,纹理特征(15)和尺度不变特征转换特性(16也经常发现在镜头边缘检测相关文献。纹理特征是图像的全局特征。镜头检测的边缘,纹理特征和其他特征形式组合实现镜头边缘的检测。梯度方向直方图和颜色直方图的结构提出了实现镜头边缘检测(17,18]。颜色特征和纹理特征提取的小波变换,和相邻帧的不同定义的互信息的颜色特征和纹理特征的互信息,和镜头边缘进一步确定动态阈值(19]。筛选特征图像的局部特性,图像大小缩放的优点,旋转,和亮度变化保持不变。筛选功能可以有效地反映移动对象的本地更改。帧图像的相同的镜头,筛选功能相同的镜头画面高度的匹配,采用和筛选功能来实现镜头检测(20.),它可以更好的区分不同渐变镜片的移动对象,以便找到镜头边界在允许误差范围内。筛选功能是用于匹配相邻帧。然而,单独使用筛选功能极大地影响实现镜头边缘检测的快速运动镜头和环境光强度的变化(21,22]。此外,筛选功能只用于检测堆垛镜头,和检测效果并不理想。作为一个图像的一个重要特性,纹理可以更好地反映图像的底层特征的变化,以及图像之间的相似性也可以衡量图像的纹理匹配程度。静态图像的纹理的概念可以扩展到时间域,形成一个动态纹理。动态纹理在不同的应用中有不同的定义(23,24]。动态纹理被描述为一个移动场景的图像序列的稳定性质在时间序列上,如波电影镜头和吸烟镜头的电影。(25,26]。图像相邻的两个或两个以上的帧数相同的镜头,如果帧图像中的对象局部运动,帧分为均质块,每一块构成的平均梯度平均梯度矩阵。它的梯度矩阵之间存在很强的相关性,这是类似于“动态纹理”(27,28]。通过“电影动态纹理,”统一的电影处理帧块,每个梯度计算的平均面积,这是由平均梯度矩阵。根据“电影”平均梯度矩阵的动态纹理和动态变化的相邻帧之间的“质地”(29日,30.),它决定是否相邻帧的内容已经发生了巨大的变化。当环境光不发生巨大的变化31日,32),相邻帧的动态纹理在同一个镜头不会从根本上改变。
方面的镜头边界检测,光流法在电影和电视中提取运动信息,并提出了光流矢量量化方法。根据量化方法,运行数量的相邻图像纠正和框架的区别。框架的区别是用来检测边缘的候选人。提出了一种模型匹配方法来检测突变和渐变的镜片,以获得电影和电视的镜头边界信息。为了避免困难的镜头检测的阈值设置的阈值方法和进一步提高检测效果,一个统一的基于模糊聚类的镜头边界检测策略的基础上,本文实现了镜头的运动特点的分析,结合模糊聚类的知识。该算法可以检测同时突然/渐进的镜头没有设置最小值。它可以有效地减少flash的影响,副标题插入,广告,和其他因素对镜头检测和减少镜头运动的影响在电影和电视的边界检测,从而进一步提高镜头检测的鲁棒性。通过实验验证了模型的算法的检测效果。
2。动态纹理边界检测基于筛选功能
动态纹理匹配是找出相似的两个电影帧之间的动态纹理。电影和电视的整体框架比较先给出动态纹理,如图1。两帧图像的一个影片剪辑。它分为MN亚区,每个区域的平均梯度计算平均梯度矩阵。
帧图像的相似度空间,全球变化图像的空间,和空间的局部变化可以检测并通过许多方法来判断,和帧动态纹理匹配方法是一种更好的方法。它可以从影视动态纹理的定义定义的影视动态纹理的平均梯度条件。两个相邻帧在同一地区的平均梯度变化反映了地区灰色学位;换句话说,区域平均梯度变化反映了当地的儿子框架的改变,因为整个图像平均梯度矩阵实现;平均梯度矩阵的变化也反映在整个相邻帧的图片,和帧的变化对于一个给定的动态纹理可以通过比较:
筛选特征图像的局部特性,图像大小缩放的特点,旋转,和亮度变化保持不变。筛选功能是一个功能常用的图像对象匹配,和相邻帧的筛选功能相同的镜头有一个高度的匹配。对于剪切镜头,如果是密集和相邻帧的过滤特性匹配度低,然后相邻帧被认为属于不同的镜头。渐变镜头与复杂结构(包括灵活的解决方案,光褪色,和重叠),如果生成的框架是一个稀疏矩阵,相邻帧的过滤特性的高度匹配,它不能完全确定相邻帧属于不同的镜头,所以继续比较框架。在这里,r< 24,值小于人眼的分辨率帧数限制,和镜头边界检测误差允许小于人眼的分辨率帧数限制。有轻微差异人眼极限分辨率帧数的不同类型的电影和电视节目。在这篇文章中,r采用= 20:
自从发现极端点不稳定,需要进一步处理这些极端点,也就是说,将像素与狗曲率不对称。筛选雇佣了三维二次函数拟合,精确的规模,极值点的位置来提高抗噪声能力,提高匹配的稳定性。低对比度的极端点删除:
筛选功能可以合理地描述图像,旋转,缩放,和翻译,不受影响。因此,筛选功能是用来描述电影和电视图像。在电影和电视画面的比较,它可以确保的多样性造成的照片不旋转,收缩,和翻译的一个图片,但是真正的多样性带来的不同的图片。
镜头边界检测主要是基于相邻帧之间的相似性在镜头。镜头转换时,相似被摧毁和帧通常是很大的区别。因此,镜头检测的基本思想是比较电影和电视帧之间的区别和比较框架和最小值之间的差异。如果达到一定程度的差异,判断,镜头转换发生。镜头突然改变时,框架之间的距离通常显示为一个凸脊。镜头渐变的过程中,有一个小肿块在整个波形,但是差异不明显的剪切。
镜头边界检测后,测试指标可以用来客观地评价检测结果,测量各种镜头检测算法,帮助选择正确的算法。在镜头检测,查全率和查准率是两个最基本和常用的评价参数。根据不同的加工方法,可分为两种类型:镜头边界镜头突变边界和镜头渐变边界,如图2。镜头边界检测的基础上,下一步是分析电影和电视镜头将它分成两个。因此,视频的分割精度射击后,对关键帧的提取尤为重要。处理和数据分析的关键帧提取相关影片的镜头边界检测和影响精度。
的关键帧提取算法的主要原理是基于图像内容分析来测量图像的相似性的变化图像的一些基本特征,如图像的颜色、形状、纹理等视觉特性。具体步骤如下:(1)选择图像的第一枪作为一个关键帧,看看它作为对比框架。(2)计算出图像之间的差异程度,框架和框架在电影和电视先后进行了比较。某些框架时发现有一个伟大的改变,也就是说,这个和帧之间的差值大于预设阈值T,那么图像帧作为关键帧和视为新的比较框架。
继续后续的图像帧之间的比较和新的比较框架,和重复前两个步骤,直到所有的图像帧的检测在电影和电视,和所有选中的关键帧被认为是最后的关键帧设置当前的电影和电视。
图3显示了电影和电视的轮廓图编辑算法基于筛选功能的结合。将详细介绍以下三个方面:主观特性基于观众评论,客观特性,基于视觉效果和影视编辑生成。以下符号定义表达式。C代表着一种全新的亮点,1代表的是一大亮点,年代代表一组突出的一个子集组成的多个亮点,这称为一个片段集。本章的目的是找到最优的碎片。
还有大量的flash病例在电影和电视,和普通闪光检测只能排除最大的变化在flash序列框架的镜头检测的影响,并没有考虑到镜头上的flash序列检测的影响。在错误的分析检测,发现均值的帧之间的差异趋于0时帧之间有大量的微小变化。
3所示。关键帧提取镜头边界检测基于筛选特征融合
电影最初是映射到的帧点在2 d图像,然后,点集群获得的图像信息处理。基于密度的聚类算法值集群中的分类过程是相似的k-MedoIDS算法,它只需要分析点对之间的距离和密度值。根据点对的分布位置和相邻点的密度值,整个集群是集群获得各种中心,以及电影和电视的关键帧选择聚类中心构成最终的抽象。
基于密度的聚类算法分析判断,确定了根据实验数据点的分布和相应的关系。由于不同的亮度,颜色,和其他特征受电影和电视的每一帧,每一帧可以映射到相应的空间根据这些差异,和每一帧对应的点在不同的坐标。点集群采用的分类方法来判断图像之间的对应关系在电影和电视。集群获得点的划分是基于每个点的密度值之间的距离,另一个对应点,而不是在二维空间中使用特定的坐标。在本节中,图像之间的相似性是用来测量相应的距离。相似性越小,对应的距离值就越大。对应关系如下:
采用筛选获得各种电影和电视帧之间的距离,然后,电影和电视的每一帧映射到相关的点在二维空间。其次,帧分为集群通过聚类操作。决策图是用来显示选中的群集中心点对应于高值,表明所选择的点是每个类的中心,也就是说,每个中心点代表相应的组织的特点。所有类别的中心对应于所选择的坐标系来表达这类的信息。因此,这张图片是选为关键帧来描述电影的主要信息和电视。使用筛选的过程选择关键帧图像frame-mapping方法如下:输入:源视频图像序列标记输出:得到关键帧的设置对应于源电影和电视步骤1。计算每个图像的统计信息和纹理特征步骤2。获得任何点对之间的间隔,并筛选形式用于电影帧映射到二维空间中的点步骤3。收集该地区每个点的值和相应的值步骤4。遵循当地的密度值 ;所需的决策图绘制与距离的函数关系,和点群的数量决定图像中包含的是一个互动的形式决定的第5步。定义图像子集包含在不同的集群根据影视帧之间的关系在空间点的映射
在表达的过程中主要通过电影和电视抽象的信息,更重要的是获得关键帧的数量。如果使用太多的框架,框架将导致之间的冗余。如果选择的数量是不够的,它会影响完整的影视信息的表达。的帧数的选择是另一个客观评价元素在影片中总结。密度聚类算法峰值,集群的数量得到的图形人机交互的形式决定。集群在电影和电视的抽象提出在本节中,它们之间的影响时将加剧影视的长度很长,帧的数量很大。如果采用互动形式,类别的数量不能确定自动和快速。
通过选择路径,很明显,靠近参考点,像素越多用于比较。选择采样路径以这种方式不仅可以表达整个图像的照明特点也反映出图像的主要内容。图4显示亮度值的变化曲线的突变和褪色的镜头。它可以看到从图4当最后消失在镜头像镜头,图像亮度值曲线具有明显的逐渐增加的过程。然而,对于突变镜头在图4,图像亮度值曲线有一个突然的变化过程,与大差异之前和之后,这有利于快速检测。
多尺度意义值测量时,平均值用于增强对比重要的和不重要的区域。认为意义阈值从当地获得意义的次区域意义图,和像素意义价值不是位于次区域范围内得到邻显著像素之间的欧几里得距离加权,以获得新的意义价值。这样,附近的意义价值的重要目标是增加和意义价值的背景部分是削弱了:
获得重要的区域是图像分析具有重要意义。加强图像的重要内容的分析,忽略一些次要的部分,这成为了提高效率和优化效果的关键。在获得图像的显著区域,重要区域的处理可以增加不同的镜头之间的区别。互信息主要是代表两个系统之间的相关性的信息,也就是说,系统涵盖了相应的系统中的信息的大小。图像互信息是衡量每个映像都包含多少信息,和渐变镜头切换的过程合并前后镜头的内容。因此,我们使用互信息来衡量图像之间的相似性。互信息的定义如下:
4所示。例子验证
为了验证影视镜头的边缘检测效果提出本文两组电影和电视电影被选为验证算法的效果。第一组测试了150从网络影视片段,其中包括剪切镜头与复杂的结构和各种渐变镜头(光褪色、溶解和重叠)。影视类型包括电影剪辑,体育电影,电影和新闻。在第二组,最权威的国际评估TRECVID2003影视藏品作为测试电影和电视,和6经典片段被选,每一部分包含剪切镜头和渐变镜头。影视剪辑包括黑白镜头和镜头颜色,具体参数见表1。
为了测量的检测效果,反冲,精度,精度,F1,综合评价指标结合召回率和精度是用来表示镜头的召回率。其中,F1的价值越高,检测效果越好。
在该算法中,参数的选择对实验结果有很大的影响。的价值反映了条件的梯度变化程度,的价值反映了稀疏度的梯度变化矩阵,和的值反映了相邻帧的匹配程度的筛选功能。
4.1。的影响重视实验结果
不考虑帧的贡献为镜头边缘检测筛选功能,不同值对检测结果有不同的影响。图5显示了召回率的变化趋势,准确度和精确度与TT= 0.75。从图可以看出5时可以实现良好的召回率和精度= 0.4。
不考虑帧的贡献为镜头边缘检测筛选功能,不同值对检测结果有不同的影响。图6显示了反冲精度和准确性的趋势召回率的变化= 0.75。
本文筛选特性和动态纹理对镜头检测有不同的影响。验证筛选特性和动态纹理镜头检测的影响,该算法相比,本文筛选功能和动态纹理的镜头检测。第一组是用来测试的三个算法。在实验中,帧图像的次区域大小作为13×13,和 作为一个经验十进制AVF值越高,检测效果会越好。从表可以看出2,本文算法的检测结果比筛选的特性或动态纹理。
在实验中,影视是首先手动分割,分割结果作为参考镜头边界。有一些标准的差异优势判断为不同类型的眼镜。渐变镜头,镜头边缘的位置难以准确界定,并在20帧错误是允许的。本文算法的实验结果如表所示3。
后验证的准确性之间的关系比和剪切检测、实验进行再次验证分区的影响比的拟合速度梯度功能错误。图7显示的影响比的拟合误差率提取梯度地区。
它还可以看到从图7逐步拟合特性的误差达到最小块比接近0.6。出错率的拟合特性越小,越接近拱产生的波形特性描述电影和电视的标准波形的形状。这种方法有利于逐步检测和提高其准确性。
比较鲁棒性,实验数据被用于几种不同类型的视频剪辑从网络下载MPG的格式,包括广告、视频剪辑和MTV。总共7726帧被使用,其中包括109镜头边界转换,其中85突变镜头,23梯度。本文提出的算法是用来比较和实验这些电影序列直方图double-min方法和基于像素double-min方法。具体实验结果如表所示4。算法1是本文给出的算法,算法2是基于直方图双阈值方法和算法3是基于像素双阈值方法。
从表可以看出4以上,为不同类型的影视片段,算法1可以达到良好的整体召回率和精度检测结果率超过72%,而算法2和算法3有好的和坏的检测结果不同的电影和电视,也证实了算法的总体适应性1电影和电视。此外,从的角度不同类型的测试,电影和电视,该算法对摄像机有良好的测试效果的广告和电影编辑类型。这是因为算法做了一些改进的鲁棒性,所以当广告和影片剪辑类型摄像机在更复杂的情况下,如闪,相机运动,副标题的变化,和噪音干扰,仍然可以获得更好的测试结果。
它可以清楚地看到从图8算法1召回率和精确率高,尤其是高召回率,因为该算法减少了字幕插入和图标插入对镜头的影响检测的过程中计算并选择聚类特性。在聚类的基础上,进行了预处理的特点突变和渐变边界的电影和电视,结果进行了进一步的分析。镜头检测的过程中,flash,镜头运动,和噪音检测添加减少它们对镜头检测的影响,最后,镜头边界检测是实现。因此,它具有更好的鲁棒性常见干扰的情况下,可以获得更好的检测效果相同的影视剪辑。
5。结论
镜头边缘检测的新方法提出了基于动态纹理和筛选特性对许多种类的电影和电视数据。算法主要包括四个方面:电影和电视动态结构建筑、电影和电视动态纹理匹配,帧图像匹配筛选功能,和错误检测处理。电影和电视的动态结构考虑了局部和全局更改框架的形象。本文的方法是有效的切变和渐变镜头边缘检测,特别是对边缘检测的叠片镜片,也减少对镜头检测的影响。然而,边缘检测方法本文对流体的影响对象(如海水在电影和电视)需要改进,本文的自适应选择方法需要进一步改进。在检测过程中,为了有效降低副标题和其他因素对镜头检测的影响,构造了一种改进的直方图分割方法,和每个块的帧差的特性,每一块的重量是作为模糊聚类的特征权重。在聚类的基础上,预处理是进行电影的突变和渐变边界特性,结果进一步分析排除闪光灯和镜头运动镜头检测的影响,最终实现镜头边界检测。然而,由于电影和电视的复杂性,仍存在一些缺失和错误的检测算法,需要进一步研究。电影和电视是各种信息的载体,包括图像、文本和声音。大部分的电流检测算法是有限的使用图像特性来检测图像的边界通过改变内容。 In the future, algorithms can make use of more information, such as superimposed text and audio information.
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。