文摘

在回波心脏临床辅助诊断,一个重要的步骤是自动超声心动图视频从不同角度和不同地区进行分类。我们提出一种超声心动图视频分类算法面向密集的轨迹和差分直方图的基础上的梯度(DHOG)。首先,我们使用密集的网格法来描述功能特点超声心动图序列的每一帧,然后跟踪这些特征点采用密集光流。为了克服超声心动图的快速和不规则运动的影响视频和更健壮的跟踪结果,我们也设计一个轨迹描述算法,利用光流的导数来获取运动轨迹信息和同事不同的特征(例如,轨迹形状,DHOG,霍夫,MBH)嵌入式结构信息的时空的金字塔。为了避免“维数灾难”,我们应用费舍尔减少特征的维数的向量描述其次是线性SVM分类器来提高最终的分类结果。超声心动图视频分类的平均精度为77.12%,所有八个观点为100%,三个主要观点。

1。介绍

超声心动图视频仍然扮演着重要的角色在现代医学诊断。它可以用来分析心脏通过提供心脏结构和动态信息。超声心动图视频获取三维心脏的解剖结构和功能的详细信息从八个标准视图,这通常是来自一个超声波传感器在三个主要的职位(顶端角度(AA),胸骨旁的长轴(PLA),和胸骨旁的短轴(PSA))。为了选择最有益的疾病诊断或超声心动图视频研究,我们需要分类的八种超声心动图视频。分类是研究的第一步。在临床实践中,由于超声波特性限制,如高噪声引起的低对比度在超声心动图视频中,超声波检验师必须手动分类这些超声心动图视频。它会导致工作效率的降低,容易影响识别结果由于超声波检验师经验和图像分辨率。因此,如何使用计算机对超声心动图视频进行分类是一个关键的一步在当前回波心脏研究。

近年来,有很多研究人员关注这一领域。例如,Kumar et al。1)是致力于表达空间运动的主要解剖结构。周et al。2)和Beymer et al。3]提到超声心动图分类基于多个对象空间关系。然后Shalbaf血清et al。4,5)在此基础上,添加运动信息的提取和检测的功能通过跟踪动作和模式的轮廓形状的心。王等人。6)提取视频特征通过分析因素。郭et al。7提出一个超声心动图视频基于稀疏表示的分类方法和大大提高识别精度。超声心动图视频分类方法提出了基于3 dsift特性描述(8]。作者应用长方体探测器探测回波心脏功能,代表这些特性3 dsift描述符,最后用袋词编码之前在SVM分类。在那之后,说唱和Espinola-Zavaleta et al。9,10)提出了超声心动图基于低维的特征分类方法,提高分类结果结合核函数与运动分解算法。

在这篇文章中,它是一个挑战来精确分类超声心动图的视频,因为它有很强的噪声和低分辨率。我们提出一个方法基于密集的轨迹(11面向]和差分直方图的梯度(DHOG)。密集的轨迹跟踪,样品视频点密集在我们的实验中,可以保证特征点整体覆盖。此外,它可以从现场区分前景和背景,提高识别的效率。此外,密集的光流可以提高完美的轨迹特征的特征点。为了描述密集的轨迹,本文还提出了一种基于运动边界的方法和结构描述符(DHOG,霍夫,MBH),更好的结果。运动边界直方图具有较高的鲁棒性比其他基于光流算法的描述。它有一个很大的影响稳定的分类系统。最后费舍尔向量和线性SVM分类器应用于分类超声心动图视频。

2。方法

密集的轨迹是通过dense-sampling点在每一帧和跟踪这些点在浓密的光流场。密集抽样保证完整性覆盖特征点的视频,和密集的光流可以提高轨迹的性质,区分前景和背景的超声心动图视频,并促进识别的效率。密集的轨迹行为识别方法的流程图如图1。我们将在以下内容生产流程图的详细信息。

2.1。密集抽样

特征点在网格间隔密集采样像素。抽样进行在每个单独的空间尺度。这意味着同样覆盖所有特征点的空间位置和尺度。根据前面的实验结果7),采样步长像素密度足以给好的结果在所有数据。较小的采样步骤没有更多的改进,它将增加的数量计算。总共有最多8个空间尺度上,根据视频的分辨率。空间规模增加的一个因素。

由于均匀抽样检测没有任何意义,我们删除点在这些领域使用的标准(19]。当当地的自相关矩阵的特征值小于某个阈值,根据标准将被删除。在这篇文章中,阈值如下: 在哪里的特征值点在图像。的值和实验结果表明,0.001是一个很好的特点和密度的采样点之间的妥协。

2.2。密集的轨迹提取

密集的轨迹被跟踪特征点提取仅在每个尺度空间,如图2。

对每一帧,其密集的光流场是计算,,。下一帧就是和水平和竖直分量的光流。给定的一个点在坐标系在框架,它的跟踪位置平滑通过应用中值滤波: 在哪里中值滤波的内核,是3×3像素大小。它避免了运动轨迹点位于边界被平滑(20.]。

一旦密集的光流场计算,点可以被跟踪非常密集的没有额外的成本。使用密集的光流场的另一个优点是允许的平滑约束相对强劲快速跟踪和不规则的运动模式。在本文中,我们使用的算法(21嵌入一个翻译社区两个连续帧之间的运动模型。和多项式扩张在附近被用来近似像素强度。这种方法不仅能有效地配合光学流和提高光流的准确性,而且它的原理很简单,它具有较低的计算复杂度。在我们的研究中,我们使用OpenCV实现图书馆完成密集的光流场的计算。

运动轨迹的形状描述符意味着当地编码位置。给定轨迹的长度由一个序列,我们描述它的形状的位移矢量。结果向量归一化位移矢量大小的总和:

在下面,我们称这个向量轨迹。当我们使用固定长度的轨迹帧,我们获得一个30-dimensional描述符。

2.3。运动和结构描述符

除了轨迹形状信息,我们也设计描述符嵌入外观和运动信息,包括差分直方图的梯度(DHOG),光学流(霍夫)、直方图和运动边界直方图(MBH)。这些特性相结合的运动模型局部特征描述符。在连续的视频帧,我们提取的特征像素的局部区域。为了嵌入结构信息,我们把时空立方体为一组网格和每个网格计算相对应的局部描述符。最后,我们把每个描述符到最终的向量。

2.3.1。不同的面向梯度直方图

猪的特性(22)是基于局部统计特征信息描述;其主要思想是,当地目标外观和形状的图像可以被描述为梯度或边缘的方向密度分布。第一个图像分为几个不重叠的细胞大小,每个单元的梯度计算,然后使用直方图来表示统计数据。通过合并多个单元为一个向量,猪的特性。

虽然传统的猪的特性一定的光照变化具有较强的鲁棒性,猪特性的表达能力仍然存在。自从梯度方向可以改变背景的明暗,可以生成不同的表情猪功能如图3。的投影区间[,没有变化的梯度方向直方图,如图3 (c)。

它会导致忽略了某些目标显示信息的差异。猪特征描述符是统一的,因为不同的形状对象的不同方向相反的梯度和相同的大小和数量,可以产生相同的直方图。所以猪的特性没有杰出的能力为这些对象。

为了提高猪的表达能力特性在超声心动图视频轨迹特征。我们提出一种改进的猪描述符算法。我们分到(,区域和梯度方向直方图,在那里甚至和每个像素单元需要投票: 在哪里和分别是,猪和th元素值。在本文中,我们创造了一个新的一系列的直方图的长度等于猪后,如图4,每个元素的值

在这篇文章中,我们调用新的梯度方向直方图作为不同猪(DHOG);为了简化计算,我们提取猪特征描述符的32×32像素密度轨迹。每一块分为2×2细胞。为了获得最佳的描述,同时考虑到相反方向的差异在这篇文章中,该地区(0 ~ 180°)分为9个箱子,然后扩展到(,由DHOG]。我们把梯度方向的区域0 ~ 360°到18箱,并计算梯度方向直方图在每一个细胞。然后我们把帧的密集的轨迹分成三部分,总和DHOG特性与相应的垃圾箱。的特征向量也归一化规范。所以,在这篇文章中,有一个密集的轨迹与猪的特性帧的维数是2×2×18×3 = 216。

2.3.2。梯度直方图和光学流

不同于DHOG描述符提取的静态形状信息,霍夫使用光流来描述和提取动态信息。DHOG霍夫的计算方法是一样的。霍夫使模量的总和值的光流的水平分量和垂直分量的振幅光流,使的反正切值比垂直和水平分量的方向角的光流。那么光流方向将投射到邻本基于光流的振幅。考虑到光流振幅小(小于某一阈值),我们将添加一个零本·霍夫特性用于像素的数量。霍夫描述符也是标准化的规范。DHOG其他参数都是相同的。所以霍夫的维数是2×2×9×3 = 108。

2.3.3。运动边界直方图

运动边界直方图(MBH)提出的姚明el。检测人类2014年(23]。分别计算衍生品的水平和垂直分量。MBH是梯度光流;它可以摆脱均匀运动并保持光学流场的变化。在某种程度上,这是一个补充DHOG和霍夫删除相机运动的人。DHOG和霍夫产生的光流,这使得MBH较小的计算复杂度。

2.4。编码和分类器的选择功能

在本文中,我们使用费舍尔向量(24,25)提高256个视觉单词的GMM(平方根随后签署编码规范)特性。费雪的矢量视为BOV词袋模型的扩张中间表达形象。因为费舍尔的向量融合的优势生产和Fisher判别的内核架构,它不仅能反映每个视觉单词的频率也编码本地特性的差异在视觉词汇信息。此外,它可以代表这个词袋模型相比更丰富的图像特征。高维特性,结合简单而有效的线性分类器可以实现良好的分类效果。因此,在本文中,我们使用线性支持向量机分类器,性能优良的机器学习分类和泛化。所以线性SVM分类器有很多优势相对于其他学习算法在实践中,既简单又方便使用。它在分类性能更好。

3所示。实验结果和分析

3.1。数据

在这个实验中,228个不同的超声心动图视频收集来自72个不同的病人(包括58正常个体和14患者心脏壁运动异常);这些数据是由清华大学第一医院提供。所有超声心动图视频的长度是1到2秒,视频被存储为434×636分辨率和26-frame DICOM格式(在医学数字成像和通信)。表1显示详细的八种视频。

3.2。实验设置和结果分析

在这个实验中选择特征点的密集采样网格5像素密度采样过程中,它可以保证最好的结果。然后跟踪帧长度设置为15帧的过程中特征点的跟踪。在运动的过程中边界描述,默认参数,,在我们的实验中,这些参数通过实验测试有最好的效果。编码和分类器的选择特性,本实验采用vlfeat-0.9.19软件进行处理(下载http://www.vlfeat.org/)。选择的培训视频和测试视频,我们使用“一半一半”的方法(超声心动图视频数据是随机选择的,总培训视频和另一半的一半的测试视频)。我们分析其分类结果。

我们使用混淆矩阵的分类准确率的八种超声心动图视频表2,准确率的计算方法是显示在3.1功能。总的来说,所有类的平均分类精度为77.12%。我们可以发现,每个类的分类精度是不同的。特别是,这些类的分类精度,如A5C PSAB, PSAP,比其他人低。实验数据的主要原因是呼吸急促对应这三种超声心动图视频。它会导致缺乏训练样本:

鉴于上述实验结果,分类精度可以通过样本的数量影响视频,在接下来的实验中,我们切断了实验数据的三种视频(A5C、PSAB和PSAP)和进一步的实验与其他五种实验数据和比较结果(表3)。

从表3,与八种视频和五种超声心动图视频中,我们可以发现,分类精度显示了显著的改善。分类精度从原来的77.12%提升到98.36%。

我们的实验也让超声心动图的原始视频分类测试三种位置(AA、解放军和PSA),其平均分类精度为100%,它可以满足医学超声心动图视频分类的基本需求。

最后,与其他超声心动图视频分类算法相比以前提出了我们的实验结果是大量增加(见表4)。和超声心动图的视频三种原始位置,我们的实验最好的准确性。因此,超声心动图视频的方法的分类基于密集的轨迹跟踪和DHOG具有明显改善准确性与前面的算法。

4所示。总结和讨论

本文是基于超声心动图的分类与密集的轨迹跟踪和视频DHOG算法。首先,我们使用密集的轨迹跟踪和DHOG算法来描述各种超声心动图视频功能和特点然后VLfeat软件申请费舍尔向量编码功能。最后我们用线性SVM分类结果。从实验结果,本文中采用的方法与以前的方法相比,基于3 d-sift超声心动图视频分类,分类精度显著提高。但是最终的平均分类精度还不高,因为超声心动图视频数据的缺乏。所以,在这篇文章中,我们摆脱少量的三种实验数据,使分类实验。解决问题后的样本数据,剩下的五类的平均分类精度的数据相比,八类的平均分类精度提高了近20.9%。在三个类的原始位置的超声心动图视频,平均分类精度为100%。因此,本文的方法可以初步实现医学超声心动图视频分类精度的要求。处理超声心动图的分类的视频中,所面临的挑战不仅仅是视频噪声引起的低分辨率的视频还如何平衡的计算复杂度和时间成本。 In the future work, we will gradually increase the database of eight kinds of echocardiography video and adopt or propose newer and more effective method to improve the classification accuracy and reduce the required time of the classification as well.

利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是由中国国家自然科学基金资助下号,61471124和61473090。这个宽度研究的一部分,项目财务由EC下FP7计划与格兰特没有之下。pirses - ga - 2010 - 269124。