实时视听分析多人视频会议

文摘

我们描述一个系统的设计组成的几个先进的实时音频和视频处理组件支持多通道流操作(例如,自动在线编辑多方视频会议应用程序)在开放的、无约束的环境。底层算法被设计成允许多人进入,互动,把观察到的场景,没有约束。他们组成连续本地化的音频对象和应用空间音频编码对象,检测和跟踪的面孔,头部姿态估计和视觉关注的焦点,检测和本地化语言和副语言的事件,和协会和融合这些不同的事件。结合在一起,它们代表多通道流与音频对象和语义视频对象和提供语义信息的流操纵系统(如虚拟主管)。各种实验已经进行评估系统的性能。结果验证了该设计的有效性,各种算法,和融合不同的方法在这种情况下的利益。

1。介绍

一起去任何地方,任何时候(θ)项目旨在了解技术可以帮助培养家庭关系来克服距离和时间障碍。这是目前的技术并没有解决好。现代媒体和通信是为个人设计的,如手机,电脑和电子设备往往以用户为中心,提供个人经验。

技术TA2的目标是建立一个系统使个人的自然远程交互利用集先进的“low-level-processing”视听算法组合在一个更高的水平。本文侧重于描述和评估这些算法及其组合的最终使用与高级流操纵和解释系统,视频会议系统(例如,一个精心策划1),数据(即自动选择的相关部分。,使用一个所谓的虚拟主管)。提出系统的目的是独立的语义对象的低信号(如声音、脸)能够确定他们的数量和位置,,最后,决定,例如,谁说当。底层算法构成连续本地化的音频对象及其应用对象空间音频编码(2),检测和跟踪的面孔,头部姿态估计和视觉关注的焦点,检测和本地化语言和副语言的事件,和协会和融合这些不同的事件,在每个房间的基础上进行执行。定量评估个人算法以及整个实时/低延迟系统,实验进行了两个数据集包含高清音频和视频数据记录在一个无约束videoconferencing-like环境。

1.1。相关工作

有一个全面的文献对多人脸检测和跟踪算法,演讲者本地化和diarisation,多通道融合技术,和跟踪系统。大多数现有的系统设计,而受限的环境中,像会议室3),只能离线工作(预录的数据),或者他们使用不同的技术设置(例如,配置传感器)。

大多数现有的工作主要集中于单一形态(音频或视频)。多个脸跟踪,许多方法已经在文献中提出,他们主要处理改进整个跟踪性能提出了新功能或新multicue融合机制,并演示了结果主要是在短序列或视频只包含两个人。粒子过滤器已被证明是一个有效的和高效的视觉物体跟踪的方法。例如,一个这样的多目标跟踪算法提出了汗et al。4),是基于reversible-jump马尔可夫链蒙特卡罗(RJ-MCMC)抽样。但是是有效的,它需要适当的全球现场可能性模型涉及固定数量的观察(独立于对象的数量),这些都是难以构建在multiface跟踪应用程序。

在音频分析方面,有diarisation系统识别语音段对应于每个演讲者(“谁说当?”)和估计的扬声器。传统的扬声器diarisation系统(5)使用一个遍历隐马尔科夫模型(HMM)的发言人表示不同的嗯。好的结果通过系统使用的组合mel-frequency cepstral系数(MFCCs)和到达时间差(辐射源脉冲)特性与不同数量的麦克风阵列组成的,虽然目标辐射源的性能特性应用分别是可怜的6]。目标辐射源的特性可以用事先的麦克风阵列的几何知识。如果麦克风阵列的几何是提前知道,目标辐射源的特性可以更换扬声器的位置,可以单独使用(7对传统MFCCs),或作为补充功能。通常,议长本地化可以做的音频模式,视频形态,或两者兼而有之。第一个意味着使用麦克风阵列,而第二个是基于运动检测的检测。多通道本地化允许结果影响较小的噪声和混响音频模式,尽管它显著增加计算的复杂性。

最后,音频和视频信号的融合可以在不同层次上进行,根据输入信息的类型。它可以在传感器水平,完成功能水平,分数级别,等级水平,或决策水平。前两个层次可以被认为是预先分级,而其他人则可以视为postclassification [8]。级的多通道的方法通常是由转换数据的方式之间的相关性发现音频和视频的一个特定的位置(9]。在我们的工作中,使用score-level融合和基于技术依赖信息来源于空间上分开传感器(10]。其他score-level多通道技术依赖于估计平均声能之间的互信息和像素值(11),概率密度估计(12),或一个训练有素的联合概率密度函数13]。

1.2。挑战和激励

研究了TA2场景提出了一些科学和履约相关的挑战:在高分辨率(即记录视听流。,audio channels captured using a microphone array sampled at 48 kHz allowing to represent any kind of acoustic event without perceptual quality loss; video streaming captured with a high-definition camera) and semantic information need to be computed in real time with low delay from spatially separated sensors within a room (as opposed to other systems, such as [14),依靠配置传感器)。此外,认为环境是开放的,而不受限制。视频处理算法,因此必须考虑不同数量的人的职位没有预定义的房间里。在音频中,任何类型的生成声学事件(例如,重叠语音、音乐、扭曲由于房间混响捕捉到遥远的麦克风,或背景噪音)可以出现。这对音频处理组件构成了真正的挑战,尤其是与一个开放词典作为一个自然选择的自动识别无约束的演讲。最后,协会和融合提取声学和视觉事件并不是一件容易的事情,因为在每一次瞬间可能会有一些事件比其他人更可靠。合并后的模型能够估计的信心不同形式,进行相应的重量,并可靠地将检测到的人。

建议对现有最先进的视听系统构建个人音频和视频预处理模块已经发展了很长一段时间使用作者的技术机构。然而,本文描述了一个集成和扩展这些个体块的最终执行复杂的视听信号的实时分析/事件记录在高分辨率和分布式传感器。据我们所知,是否有这样的一个系统存在在一个商业领域和研究领域。

在下面,我们将首先简要介绍系统的总体体系结构(部分2)。节3,我们将描述智能音频捕捉。部分4概述了个人用于语义信息提取算法。部分5描述评价实验进行各个模块以及整个系统。我们还将简要分析整个系统的计算成本。部分6总结了取得的成果,总结了纸。

2。体系结构

该系统处理的音频和视频输入空间上分开传感器(见图1),位于一个房间。通过将他们单独的传感器最优位置(视频输入放置进一步更好的现场报道,而音频输入放置接近参与者允许更好的清晰度和本地化),我们显然获得更好的性能的音频对象分离和低层次的语义信息。

系统体系结构可以分为四个部分(见图2)。系统的主要部件是一个音频通信引擎(ACE,部分3),一个长期多个脸人跟踪和识别(部分视频提示检测引擎(VCDE)部分4.1),头部姿势估计和视觉关注的焦点(VCDE部分地区,部分4.2),视觉议长和语音检测从头运动(VCDE的一部分,部分4.3)、音频空间本地化(音频信号检测引擎的一部分(ACDE)部分4.4)、语音活动检测和关键字定位(ACDE部分地区,部分4.5)和多通道校准、协会和融合(统一信号探测引擎(UCDE)部分4.6)。系统包括音频的输出对象,语义视频对象和语义事件和状态。

3所示。智能音频捕捉

智能音频捕捉旨在识别和提取的声音从麦克风录音,并将它们转换为个人音频来源对象。的基于对象的表示记录声音场景提供了极大的灵活性的声音提高,传播和繁殖。智能音频捕捉的主要部分是描绘在图2(ACE块),在下面详细讨论。系统是基于一个参数表示的空间记录声音使用定向音频编码(狄拉克)框架(15]。参数表示允许一个有效的和可靠的本地化和提取声音的来源在一个房间里,然后可以转化成基于一个对象的表示如MPEG音频空间对象编码(SAOC) [2]。

3.1。参数空间声音表示

智能音频捕捉是基于声场模型特别适合演讲录音在反射的环境中。让我们考虑一个声场声压的短时频域随时间指数和频率指数在录音中位置是由叠加的直接的声音和分散的声音,也就是说, 直接的声音(相应的例如演讲,宣传直接从扬声器麦克风)等于一个单色平面波与平均功率和到达方向(DOA)。相比之下,扩散声场(相应的如已故的混响)被认为是空间各向同性,即声音到达以同样的力量从四面八方,和空间均匀的,也就是说,它的平均功率不随不同位置。这种散射场可以模仿,例如,通过求和无限的单色平面波以同样大小,随机阶段,均匀分布传播方向。

在下面,和被认为是不相关的。因此,总声功率 之间的功率比直接声音和扩散所表达的声音是signal-to-diffuse比率(SDR),也就是说,

记录空间的声音通过一个参数表示的描述,,所谓的扩散 特别提款权的代表和替代表达,也就是说, 扩散成为零只有直接的声音存在,一个纯粹的扩散和0.5声场时当字段拥有平等的权力。当扩散,直接可以确定声音的力量总声功率使用(2),(3)和(4),也就是说, 在以下部分解释,DOA和扩散可以使用B-format麦克风或估计一个麦克风阵列(2,15]。

显然,声场模型(1)要求每个时频本只有一个声源是活跃的与分散的声音。这个模型拥有相当不错的语音应用程序甚至在故弄玄虚地说情况下使用一个过滤器时银行通过适当的时频分辨率将麦克风信号转换为短时频域(16]。

3.2。连续本地化系统

ACE方框图如图2描绘了声源定位系统的主要部分是解释更多的细节在下面几节中。系统的输入是一个麦克风阵列的信号在时频域转换成使用一个过滤器银行。更准确地说,我们认为1024点短时傅里叶变换(STFT)重叠的采样频率为50%,导致帧的大小约。美联储改变麦克风信号DOA参数估计的块和扩散声场的决心。基于参数表示,长期的空间计算功率密度(LT-SPD)代表DOA估计的能量重心长期直方图对应方向的声音。最后,一个聚类算法应用于LT-SPD提供数量声音的来源和他们的角位置。

参数估计。空间参数和估计基于解释的主动声强(2,15]。我们采用平面阵列的四全向麦克风与对角线排列在广场的角落。让与的四个麦克风在短时信号频域。活跃的声强矢量的分量描述数组中的净能量流是由中心 在哪里是数组中的近似声压中心,表示复杂的共轭, 近似粒子速度分量沿轴的笛卡尔坐标系统,是一个频率相关复杂的正常化因素(2]。的方向代表了DOA估计,也就是说, 这对真正的DOA估计提供了准确的结果直接的声音高特别提款权。的方差增加低特别提款权,声场时变得更加分散。在纯扩散声场,大约是均匀分布在。的行为的方向进一步利用估算声音的扩散。事实上,漫无边际可以确定通过变异系数(CV)的定义为 在哪里表示时间平均。在纯扩散声场,分子变得接近于零导致统一扩散。当只有一个平面波,从一个固定的方向,导致零扩散分子和分母是相等的。所示(17),这个估计量代表的近似的定义(4)。

LT-SPD。声源定位是基于直接声音DOAs同样的能量重心直方图(18]。要获得这样的柱状图,让我们首先计算LT-SPD不同的方向作为 在哪里,发现(5),表示块平均在帧,是均匀采样点。的LT-SPD代表了一个长期的直方图估计DOAs加权的力量直接对应的声音。注意,在(10),只有频段下面的空间混叠频率数组。

图3(一个)描绘了一个模范的,LT-SPD声源(语音源)是积极从大约−80°混响环境。LT-SPD造成DOA估计的更高的价值直接对应的声音(,因此,声源)。由于时间平均(10),直接声音周围形成一个较大的集群真正源泉的地位声源具有固定位置。相比之下,不受欢迎的声音扩散导致特定噪声地板的LT-SPD特点是几乎均匀分布随机级较低的山峰。很明显从图3这个噪声地板让本地化准确来源困难,因为声音来源很难估计的数量。为了消除这种噪声地板,我们在每次应用实例的膨胀过滤器和侵蚀过滤器,众所周知的图像处理。这些过滤器,可以消除噪声地板没有LT-SPD应用一个阈值,通常将是一个具有挑战性的任务。图3 (b)描绘了模范LT-SPD后应用扩张(实线)和侵蚀(虚线)。膨胀过滤器,它对应于一个移动平均滤波器应用,删除小缺口更大的集群。随后,侵蚀过滤器应用设置在各方面如果时间间隔为零包含一个点(零LT-SPD)没有电力供应。这消除了薄集群(通常对应于分散的声功率),同时保持整体集群(通常对应于直接的声音)。显然,侵蚀过滤器利用声音扩散导致一个稀疏LT-SPD自DOA估计的特点是高方差。因此,漫声功率随机与窄峰值出现的位置。所需的稀疏的LT-SPD以防扩散声音可以放心的选择一个合适的角分辨率,也就是说,一个合适的值。最优取决于DOA估计考虑产生的数量在(10)和长度时间块的平均。

聚类。数量声音的来源和他们的角位置取决于应用聚类算法(类似吗k -过滤LT-SPD手段)。常用的聚类算法,与传统的k -意思,不需要一个修道院信息来源的数量。它是进行如下(cf图4)。(我)第一步:生成一个向量包含分用相等的间距(足够大)。(2)更新步骤:确定在一个有限的地区在每一个点当地的重心(齿轮)。(3)作业步骤:替换的元素确定齿轮。(iv)重复更新步骤和任务的步骤,直到停止标准(元素保持不变或特定数量的最大迭代得到)。每个点附近区域的大小齿轮的计算,选择这样的区域初始点重叠(见图4(一))。因此,多个点可能收敛于相同的位置(参见图4 (b))。在最后一步中,所有点的是零移除,因为他们有可能覆盖没有声音源力量。此外,与近距离相同的点或点取而代之的是平均一点,因为他们有可能覆盖同一声源。因此,剩下的点显示数量和角位置声音的来源。

3.3。对象空间音频编码

空间音频编码对象背后的基本原理(SAOC) [2)来表示复杂的音频场景信号的离散音频对象。这取决于应用程序,这些音频对象通常包含单一的仪器或歌曲(互动重新合成)和个人代表参加电话会议的语音信号。SAOC系统的接收端,用户可以自由组合的对象根据他/她喜欢以交互式方式;即水平和每个音频对象的位置可能是由用户控制的。支持的播放格式包括mono -、立体声和多通道(例如,ITU 5.1)配置。为了节省带宽,传输音频对象只通过一个或两个downmix音频信号伴随参数信息。

图5显示的基本结构SAOC编码器,译码器和交互式渲染单元。编码器接受个体对象信号作为输入,产生一个向后兼容downmix信号,并负责提取感知激励信号等参数对象级的区别(旧)和interobject穿越相干(IOC)(时间/频率表示2]。音频信号组合成一个对象mono -或立体声downmix信号。参数描述downmix过程被指示为downmix收益和传播的一部分SAOC侧信息以及其他信息,如岁,国际石油公司。这个处理的结果在一个紧凑的描述一个复杂的音频场景组成的多种音频对象,而代表多个个人音频对象所需的数据速率显著降低下来,只需要一个或两个downmix频道。

如果对象包含多个语言在同一房间,monodownmix信号可以简单地由一个全向麦克风被记录。然而,每个说话的信号必须分开声混合以将其分配给一个对象。声学源分离的这个任务可以有效地执行在狄拉克的参数域,例如,通过指定一个实例为定向滤波(19每一个局部声来源。

定向滤波是基于短时谱衰减技术和执行在光谱域的零相位增益函数,这取决于瞬时DOA估计。所谓定向模式描述的转换时间和频率相关DOA传递函数为每个单独的时间和频率的瓷砖。定向模式可以选择根据所需的应用程序。定向传输值接近或等于1为所需的设置,也就是说,一个源的方向,而低转移值用于任何其他方向。为了单独的几个语言的混合来源,几个方向过滤器可以并行地运行。如果一个给定的声音场景分为对象,需要实现定向过滤器。因此,增益函数应用于狄拉克全向信号同时,导致分离信号光谱为对象如下:

我们假设原始信号中提取无能量损失;我们假设所有上述downmix收益是一个。如果有一个分散的声音,这不是分配给一个本地化的来源,因此,不是一个音频对象,那么这些由一个所谓的来源剩余的对象,这是由个人岁与国际石油公司。

分离信号现在可能处理一个SAOC编码器。作为替代,这是所示(20.]定向滤波增益函数也可以直接转化为SAOC参数。乘法可以避免一些不影响分离过程。图6显示了高效的结构。本地化资源的角度位置确定每个方向的转向过滤实例。最后,应该注意的是,一个麦克风的信号可以直接被分配到SAOC downmix信号。

4所示。语义信息提取

高级流的语义信息是必要的操作和自动编辑,例如,将一个特写镜头的人正在说话或专注于一群两个人对话。相应的语义信息提取是由几个组件。

面对跟踪组件的目的是确定在每个时间点上有多少人出现在图像中的视觉场景和他们在哪里。关于这个高级任务,给定类型的环境,和所需的算法的鲁棒性和效率,我们提出使用方法来探测和跟踪脸的人,而不是其全部的身体。

感兴趣的场景引发了许多在线多面临的挑战跟踪:(1)面临可能无法发现的时间更长当人集中在表或触摸屏在他们面前(例如,当一个分布式游戏);(2)当存在两个以上的人,他们往往更相互咬合,从而导致更频繁的跟踪中断;(3)照明条件和现场动态控制在客厅环境(比,例如,在一个会议室);(4)一致的分配id为进一步推理,自动流人是重要的编辑;(5)实时处理必须与低延迟。

该算法是一个扩展的21),以不同的方式应对前面提到的挑战,将演示实验。我们在这方面的贡献如下:(1)先进的网上多个面孔追踪的精度和召回随着时间的推移,(2)概率跟踪框架创建和删除,考虑长期观察应对假阳性和假阴性检测(21),(3)一个健壮的reidentification方法和高效的人。在下面,我们将简要描述面对跟踪系统的主要组件。

4.1。长期多次面临跟踪和识别人

该跟踪算法依赖于一个人脸检测器(22正面和侧面视图与模型。出于效率的原因,检测器只每10帧(即应用。每秒一次的处理速度在10帧/秒)。同时,提高执行速度和减少错误检测,探测器只是扫描图像区域从[据颜色使用离散模型23之前和适应它随着时间的推移,通过使用面对边界框跟踪器的输出。

脸检测是间歇性的,有时相当罕见,需要跟踪算法。它的目标是将探测与跟踪对象,将跟踪对象与人(IDs)人,和估计的数量和位置可见面临着在每个时间点。我们使用递归贝叶斯框架,解决跟踪问题,在每一个时间,国家估计由于观察吗从时间1: 在哪里是一个正常化的常数。这个估计是使用粒子滤波实现与马尔可夫链蒙特卡罗(密度)抽样方案4]。介绍了粒子滤波的基本组件在以下(更多细节请参考[获得实现21])。

状态空间。我们进一步研究多目标状态空间使用配方,与全球状态定义为,在那里是可见的脸的数量在时间吗。的变量表示状态的脸包括位置、规模和离心率(即。,the ratio between height and width) of the face bounding box.

状态动力学。整体的状态被定义为动态 也就是说,之前的产品交互的和动力学的每个可见的脸。注意,定义目标的创建和删除外部过滤步骤(参见下一节)。动态可见的脸被翻译组件和一个一阶一阶自回归模型与稳态模型的规模和偏心参数。

之前的交互防止目标过于接近对方。对之间的定义可见的脸: 在哪里是惩罚函数重叠面对边界框和控制前相互作用的强度。

观察的可能性。鲁棒性和计算复杂度之间的权衡,我们采用相对简单但有效的观察跟踪基于颜色分布的可能性。观察的可能性被定义为可能的产品每一个可见的脸: 和个人观察可能被定义为 在哪里和是常数,HSV颜色直方图计算在面对不同区域(来自),在两个不同的量子化水平,解耦的颜色和灰度的垃圾箱。表示Bhattacharyya当前观测和参考直方图之间的距离。后者是初始化,当一个新的目标随着时间的推移被添加,慢慢适应。

目标创建和删除。目标候选人可能在每个跟踪迭代添加和删除。传统上,面对探测器被用来初始化新的目标和目标移除时各自的可能性下降。然而,面对探测器可以伪造检测,,在我们的场景中,面临可能长时间保持未被发现的由于nonfrontal头部姿势长期。因此,我们使用长期观察和概率框架21)包括两个隐马尔科夫模型(HMM),一个帮助决定跟踪创建和一个决定移除。

目标创建。第一个嗯一个隐藏的概率估计,二进制变量显示在每个图像位置是否有一个脸在这个位置。的后验概率可以递归估计 转移矩阵被定义为在哪里如果,否则和0。此外,,是观察。在这里,我们使用两种类型的观察:正面人脸检测器的输出与模型和概要视图和历史的前脸的位置。第一次观察到的可能性,定义的假阳性率,错过了人脸检测器的检出率;被定义为一个参数模型(类似于一个如图8),也就是说,一双对称(乙状结肠功能),参数是预先学习从单独的训练数据(见[21更多细节)。最后,对每个检测到的脸,不与任何当前面临的目标,计算以下比例: 在检测的位置。如果,然后一个新的跟踪初始化的位置。否则,没有跟踪创建。

目标移除。决定跟踪以类似的方式执行删除,使用第二种嗯。在这里,而不是pixelwise估计对于创建,一个隐藏的二进制变量的概率计算每个跟踪目标,在哪里意味着跟踪目标在时间是正确的,意味着一个跟踪失败发生。决定删除目标是基于后验概率的比率,在那里,在类比(18),这些估计后验概率是递归的(17)。在这里,被定义为过渡矩阵如果,否则和0.001。同样,观察结果收集在每个时间步为每个目标;这些观察脸检测与目标相关,前脸的历史位置,平均目标状态的可能性,方差目标状态的位置,措施表明跳跃和滴国家分布方差和测量表明突然下降可能性。似然函数定义和训练在观察的一样吗用于创建目标。

人Reidentification。当一个人失去的轨道和reinitialised之后或当一个人离开现场,然后回来,我们想分配相同的标识符(ID)的人。这不是做内部的跟踪算法,但在一个更高的层面上,考虑长期的视觉外观的观察。更具体地说,模式的人一个人的在时间由两个颜色直方图:直方图的脸颜色和一件衬衫颜色直方图以前的脸,以及长期历史图像中的位置。直方图模型的结构是一样的跟踪算法用于观察可能性之一节中描述4.1,也就是说,两种不同的HSV量子化水平和分离的颜色和灰度的垃圾箱。

如果目标添加到跟踪器和没有现有的模型不相联系的人,然后一个新人模型初始化立即和相关的目标。否则,脸和衬衫颜色直方图和的新目标递归地计算在并存储在连续帧。这段时间后,我们计算每个存储人模型的可能性给定一个身份不明的候选人: 在哪里欧氏距离和重量吗和。的概率是一种分布在可能的候选人的身份地位。这个分布线性更新(和正常化)在每个时间步和为每个图像位置根据跟踪目标位置的历史。它还包含一个小的均匀部分允许reidentification或丢失的面孔,改变了他们的立场。

给定的人然后被简单地确定模型的人最大似然: 前提是高于阈值。如果不是这样,一个新人模型被创建并添加到存储列表中。所有相关的人的模型在每个迭代更新一个小因素。候选模型更新的因素。

4.2。头部姿态估计和视觉注意力的焦点

基于脸跟踪器的输出,头部姿势(例如、旋转三维)的估计。计算头部姿势的目的是评估一个人的视觉关注的焦点,这的上下文中工作是制约视频会议的屏幕,触摸敏感表,其他的人,或“未知”。

头部姿势计算使用视觉特性的二维图像中提取出来的一个追踪的人的头上。这里使用的功能梯度直方图,颜色直方图的分割。颜色分割特性估计的自适应高斯肤色模型用于头部区域每个像素分类为皮肤或背景,如(24]。

为了弥补脸跟踪器的输出的变化,重新估计的二维面位置头部姿态跟踪。这符合正常化的脸以及周围的边界框可能同时使用前面提到的视觉特性来估计姿势。这个关节头估计位置和体式可以提高整体的精度。

考虑到估计信念(概率分布)头部姿势,视觉关注的焦点目标估计。角的范围,对应于每个目标是使用高斯概率模型。高斯函数的参数(特别是意味着)来自已知的空间目标的位置在房间内。后信仰在每个目标计算贝叶斯规则使用的方法25]。

4.3。视觉语言和议长从头运动检测

另一个信息的提示是头部运动,它将用于这项工作改善的性能(即语音活动。、语音)检测。许多现有的作品提出了演讲者使用视觉特性检测在视频或其他audio-related任务(例如,26- - - - - -28])。大部分的这些作品试图检测人的嘴唇运动。当然,这确实是可能是一个有用的视觉提示来确定如果一个人说话。然而,这种方法有几个缺点。(我)嘴唇运动估计需要相对精确的本地化的嘴部区域。这是一个具有挑战性的任务照明条件不可控时,当头部姿势变化在很大程度上,当(脸)图像分辨率较低,在动态模糊。在某些场景中,口地区甚至可能不可见,因为阻塞(例如,通过手)或极端的头部姿势(例如,往下看)。(2)嘴唇的健壮的和精确的检测图像是计算复杂的多人,实时场景。

为了克服这些缺点,我们利用这一事实当人们说话的时候,他们以不同的方式移动或行为。一般来说,人说多运动。因此,一个相对简单的和有效的视觉提示金额的基础上可以使用头部运动。这里,我们利用面临跟踪(部分中描述的事实4.1)提供了脸的可见区域的人。从这些地区,它非常简单有效、可靠地提取整个头部运动。一个更复杂的模型基于完整的身体动作或手势可以考虑在未来。然而,这可能会增加延迟的语音活动检测和诱发进一步的挑战;例如,在给定的场景,人们也把他们的手,同时操作触摸屏。

为了把视觉观察在更长的一段时间,也就是说,不是一帧,我们提出一个简单的隐马尔可夫模型(HMM)的概率估计一个隐藏的,二进制变量在时间。的值应该是1如果一个人说话,0。在每个时间步对于每个人,我们估计以下可能性: 在哪里1的观测时间吗和是一个正常化的因素。

图7说明了这个模型。我们故意模仿每个人独立,因为我们不想强加任何限制关于人在这个阶段的互动,而是在视听处理水平。观察估计是运动对于一个给定数量的人,这是运动幅度意味着什么面对区域内: 在每个像素一个图像,我们计算 与。流离失所的框架区别是连续两帧的像素强度。

观察的可能性由两个对称的乙状结肠函数定义: 的参数决心从单独的训练数据(见图8)。最后,后验概率每个人,在每个时间步构成了视觉部分的特性,用于多通道分类实验。请注意,为了简单起见,一般适用性,我们目前不训练该模型为特定的人,随着时间的推移,我们不适应。这可以提高整体的结果,但也可能导致过度拟合和漂移。

除了演讲从头运动检测,visual-based扬声器检测从检测到的演讲获得部分通过id分配相关的人。

4.4。离散的波达方向估计

瞬时空间指纹被定义为二进制模式(7重叠的基于声学活动措施,每个部门由一个比特的信息。时间是指处理帧的相应实例32 - 128 ms的长度。

每个部门都是定义为一个36°宽,高60°(水平面)连接麦克风阵列的物理空间。部门在水平面在步骤6°。这导致60行业。更广泛的领域在较小的步骤允许避免抖动声方向和光滑的声学跟踪的动态资源。

部门活动测量的定义是集成在该行业点操纵响应与阶段变换加权(SRP-PHAT)。SRP-PHAT [29日反过来又可以被视为广义交叉相关性相变换加权之和(GCC-PHAT [30.对所有麦克风对])。进一步说,一个稀疏的假设为每个频率本应用通过最小化相位误差和部门活动措施正常体积的部门。

每个部门活动措施是阈值二元决策,使60位的数据在每个实例一个360°空间表示。这个信息是存储为一个64位整数价值,称为空间指纹。

最后,这个空间指纹乘以预定义的“利益”带面具。这个乘法结果定向筛选的预定义的感兴趣的领域,消除不必要的postcalculations,和离群值删除。它可以是非常有用的在相互连接的环境中,视听通道在哪里没有回声抑制机制。

时空指纹表示被定义为一个数组的暂时连接空间的指纹在步骤16 - 64 ms。这导致一个2 d模式(图9)共有62.5列每秒500字节/秒的低比特率(62.5长整数值的64位)。时空的指纹被定义为时空指纹表征的子集(长度取决于应用程序,可以从32女士到几秒钟的时间)。

十字路口的指纹被定义为一个十字路口在时域的所有元素在时空的指纹。同样,联盟指纹被定义为一个联盟在时域内所有元素时空的指纹。由此产生的交集和工会的指纹在每次实例通过保持正常单中“一”的一群”的“每活跃的来源。

十字路口指纹用于连续跟踪延长音响声音来源的轨迹在语音活动段。相应的空间位置的活动来源是来自一些职位在十字路口指纹确认。

4.5。语音活动检测和关键字定位

语音活动检测(VAD)涵盖了语言和副语言的活动,被实现为一个门。下游从大门,ASR知道VAD正在发生的事情。它只是接收分段数据以相同的方式好像是读一系列presegmented话语。上游的大门,然而,实际上是一个连续的流数据。门段输入流按照定向/沉默信息和语音活动。这可以实现一个算法基于沉默模型(31日]或训练多层感知器(MLP)使用传统ASR特征。然而,当前的实现使用自适应阈值能量系数和到达方向进行本地化的声音检测。这个算法的工作原理类似传统监督模块由ETSI标准语音编码(AMR1和AMR2技术(32])和受益于低复杂性和相对较小的延迟相比更复杂的VAD技术,例如,MLP-based VAD系统[33]。定向信息用于另外段语音活动空间变化的基础上积极源位置和过滤声学事件,来自出于兴趣区。

人造硅视网膜组件使大型vocabulary-based非特定人语音指令和关键词定位。发现执行基于预定义的参与者列表名称和关键词相关的给定的场景(例如,策划视频聊天)。从严格意义上讲,ASR执行语音波形的转换(如语言表达式的声学认识)成文字(作为语言单位的最佳解码序列)。更具体地说,TA2 ASR系统的核心是由基于加权有限状态传感器——(WFST)令牌传递译码器称为榨汁机(34]。而译码器是基于request-driven架构,类似于数字转换器(adc)通常是中断驱动的。分析数据流框架,在最简单的形式中,译码器之间的一个接口的架构和ADC的推拉结构。这个框架允许任何有向图特性的收购,也是连续解码的能力。由于实时约束TA2系统所需的关键字的定位是目前进行1-best获得ASR译码器的输出。

4.6。多通道校准、协会和融合

在我们的工作中,我们主要关注score-level融合和发展一种技术(7依靠信息来源于空间上分开传感器位于一个房间。由于实时要求,协会和融合的人id从音频视频识别与语音活动频道不能推迟到语音活动结束了。融合事件必须在二百毫秒的时间内可以保存的感觉瞬时处理。低延迟时间关联和融合方案是描绘在图10。

视听协会执行之间的声学短期定向集群和位置跟踪人脸的视频模式。这涉及到一个映射估计麦克风阵列坐标之间(声波定向集群对麦克风阵列中心)和图像平面的坐标,这是由相机的视场(图1)。

由于参与者不坐在预定义的房间里的位置,它可能导致歧义的关联和融合。显然,同一声短期定向集群可以对应于图像中不同位置,反之亦然。因此,检测到脸的位置在图像可以被映射到许多不同声音的方向。然而,由于参与者主要是坐落在一个表,这样模棱两可很少发生。因此,鉴于意味着角定向集群的音频模式,简化关联视频形态笛卡儿坐标系统和音频通道极坐标系统可以计算 在哪里是检测参与者的集合的视频形式,的水平位置吗人,从音频通道,到达的方向和校准参数:麦克风阵列的水平位置和吗是投影的重量。

5。结果和评价

5.1。数据集和性能的措施

实验对客观评价进行两个现实生活中hand-labelled数据集:3 h 50分钟数据集1启用回声抑制(35](消除回声的过程从一个语音通信为了提高声音质量在一次电话会议);1小时20分钟数据集2 (36)残疾回声抑制、低信噪比和减少额的脸的观点。数据集2被公开发布。中给出的数据集按照系统的描述(36],包含2房间记录游戏与社会连接启用视频聊天,但空间上分开的人。每个房间单独记录和分析,包含多达4人。

取得的结果在不同步骤的处理总结在图11。精确定义为真阳性测试事件的数量(测试事件正确检测属于积极类)除以总数量的测试事件检测属于积极类(真阳性和假阳性测试事件的总和)。回忆被定义为真阳性测试事件的数量除以总数量的测试实际上属于积极的事件类(真阳性和假阴性测试事件的总和)。除了基于文件的评分,我们认为时间加权评分,以更好地评估算法从时间的角度来看。时间加权评分,精度定义为真阳性测试事件的总时间(测试事件正确检测属于积极类)除以总时间的测试事件检测属于积极类(真阳性和假阳性测试段的总和)。回忆被定义为真阳性测试事件的总时间除以总时间的测试实际上属于积极的事件类(真阳性和假阴性测试事件的总和)。

实现结果呈现在图11,主要是给定的精度和召回,应该被视为互补(更严格的研究的结果发表在其他数据)。自个人处理块进行评估与本地选择操作点,精度和召回,在不同步骤的不同评价。

5.2。跟踪和VFOA结果

块“人脸检测”(见图11)显示的精度和召回标准探测器,[中描述22),计算的平均超过所有人。块“跟踪”,显示了结果的跟踪算法,描述的部分4.1,提高了视频处理的整体精度。相应的查全率和查准率之间的依赖关系图所示12和13。清晰可见,该方法对跟踪都优于标准探测器(22)和RJ-MCMC方法(4]。提出了更广泛的跟踪评估(21),我们已经表明,此次召回是相对增加了7.8%,而假阳性率却降低了38.3%相对比较先进的多目标跟踪算法(4]。除了脸跟踪,识别算法(详细描述部分4.1)一直在评估给定数据集通过测量正确和不正确的时间分配标识符,分别,对于一个给定的人,最长的连续跟踪确定正确的标识符。然后,精度和召回,如图11在一种标准的方式计算。我们还进行了视觉关注的焦点(VFOA评价(见图)11)使用一个代表数据的子集,我们为每一帧手动标注,每个人(如果不是模棱两可的)人是否看着表,屏幕,另一个人(ID)或没有人(无重点)。Nonannotated,模棱两可的帧中未包含的统计数据。

5.3。演讲比赛结果

演讲者匹配评估(即。,temporal weighted scoring) based on different acoustic localisation approaches (see Figure11),部分中描述3.2和4.4。如果演讲者的时空指纹方法匹配(7),定义为块“时空指纹”图11,回忆和精度之间的依赖不同的操作点数据所示12和13。这里,关于112 ms指纹算法延时的方法是形象化。从这些数据,它是数据集1清晰可见,演讲者比赛表现明显好于数据集的数据集2因为有4参与者2的部门内100°,这绝对是超越使用麦克风阵列的空间分辨率。我们还假设演讲者基于时空的指纹匹配方法(7)适合更好的离散事件语义提取的任务,虽然这种方法基于长期空间功率密度适合更好的空间音频编码对象(SAOC) [2)因为它允许连续跟踪的音频对象(参见图14和15)。实现时空的指纹,结果如图11部门活动相比,也测量(37)和定向音频编码技术(15(评估以同样的方式)。

除了时间加权得分迄今为止,我们还进行了基于文件的评分由块图“演讲比赛”11。在这种情况下,一个事件为代表的演讲部分需要分配与发现说话者的脸。自从任务不是检测而是识别(扬声器),性能测量的准确性(可变精度固定召回的100%)。在最简单的情况下,演讲者匹配是基于映射的方向到达相应的检测到的脸(使用(25))。实现扬声器(本地化)匹配精度约89.9%和77.7%的数据集数据集1和2,分别。

我们还进行了基于文件的议长匹配实验利用纯粹由视觉信息提取头部运动分析(见部分4.3)。这是由块定义图“基于头部运动的发言人检测”11。间隔的意思,估计在给定的演讲,代表了一种信心视觉头运动的价值为每个单独的演说家。均值估计的最大决定认可(局部)发言人在给定的演讲时间间隔。使用这种技术,实现约45.0%和44.8%的精度数据集数据集1和2,分别。

最终,我们执行一个视听结合的独立流也可能改善扬声器本地化(定义在图块“演讲比赛”11)。相对简单,scenario-independent和实时的音频和视觉流进行线性组合,在当前的演讲者是由(25)。

权重因素,正常化的距离被音频流(先前估计的方程,argmin操作删除)。的方程,P是检测参与者的集合的视频形式,的水平位置吗人,到来的方向从音频通道,然后呢和校准参数:麦克风阵列的水平位置吗是投影的重量。视频模式,意味着别人的视觉运动被利用。这些重量,而且修改之前,而考虑到音频流和视频流。

块“演讲比赛”中给出的结果,在图11后获得视听结合显示轻微的额外的改进(绝对精度90.3%和77.8%的数据集数据集1和2,分别地)。本系统(绝对精度89.9%和77.7%的数据集数据集1和2,分别地),如图11。根据初步实验其他额外的数据,我们发现获得通过增加视觉信息(即。运动估计负责人)是更多重要的嘈杂的音频数据。

认识meeting-wise议长错误率cpu密集型先进的扬声器diarisation技术(38)低至7.0%重新MFCC +目标辐射源嗯/ GMM系统的最优组合权重和Kullback-Leibler-based重新MFCC +目标辐射源信息瓶颈系统的最优组合权重。在自动的情况下重量、总体议长错误相应的利率约13%和10%。这些先进的估计只是概述,不能用于直接比较数据,硬件和场景不同于用于我们的实验数据,硬件和场景中使用(38]。此外,先进的系统有500毫秒的延迟时间和状态至少3秒时间,当我们能够取得不错的成果与延迟算法和最小状态持续时间低至128毫秒,哪个更TA2场景的关键。我们应该注意,算法延迟不包括捕获延迟,这反过来会导致额外的10 - 20毫秒。当然,之间有一个权衡更低的延迟和更好的精度。系统不需要尽可能低的延迟可能会获得更高的精度。

5.4。声音活动结果

块“语音活动检测”和衍生品(图块11)显示操作系统的精度和召回点上执行当地的输出远场的语音活动检测(超过6 K手动标注语音段使用)。尽管只有数据集1是回声取消,我们能够实现良好精度/回忆水平数据集2(见图11)后应用程序的“定向筛选”内块在语义层面上的声音活动检测器(精度的差异20.2%(而不是72.6% 92.8%)之间可以看到相应的块)。该行业的兴趣定向筛选的最终系统被定义为(−110°、110°)对0°的参考方向,定义为一个虚构的箭头交叉摄像头和麦克风阵列的中心,面临的参与者。这让我们消除远程方残疾的回声抑制(数据集2)和一些回声取消文物的启用回声抑制(数据集1)。

块“定向筛选”显示语音活动检测的精度和召回值情况下干涉(进入谈话)事件是被暂时中断探测器,而块“空间中断过滤”显示语音活动检测的精度和召回值情况下闯入事件是被空间干扰检测器(即。使用流的方位)。虽然方法与空间中断检测显示稍微更好的性能使用时间加权得分,令人惊讶的是,我们发现在基于文件的得分的情况下,空间方法性能较低。我们认为,这是由于一些假警报被分散到更短的。

除了音频通道,“基于头部运动的语音检测”图11,利用纯粹由视觉信息提取头部运动分析(见部分4.3为操作系统的点)评估。基于文件的性能的语音活动检测(VAD)多通道信息融合的基础上由“多通道语音活动检测”表示在图块11。性能是影响人脸检测和人识别算法由于生成的语音活动段分配一个视觉跟踪的人。除了使用音频通道(即只生成事件。,speech segments generated by ACDE), we also perform the subsequent fusion of these audio events with visual events estimated by head motion-based speech detection algorithm (performed in VCDE) to improve the overall VAD performance. More specifically, the “multimodal voice activity detection” block in Figure11比较3系统评估操作系统的观点:(a)完整的多通道和监督;(b)和(c)和监督仅依赖能源音频估计(这里没有使用头部运动)和没有应用的空间中断过滤块,分别。

我们意识到评估使用精度和召回的操作系统选择的是不够的,因为数字在不同的块,呈现在图11,不能直接比较。因此,此外,通过性能也是评估采用检测错误的权衡(检波器)曲线与小姐虚惊概率评估大量的操作点的检测(39]。这些概率估计使用的绝对数量(即目标。,the number of speech segments comprised in the transcription) as well as nontargets (i.e., the number of potential speech segments not comprised in the transcription but appearing in the detection output). The resulting DET curves are normalised in such a way that the number of targets and nontargets is set to be equal. For each operating point in DET curve, precision and recall values can be estimated. Thus, depending on a potential application, VAD can easily be tuned by considering different thresholds applied on confidence scores associated with each speech segment.

数据16和17声音的特征检测活动的节目数据集1和2。更具体地说,5个不同的视听和监督系统被认为是基于输入音频和视觉运动从视频流中提取。(我)音频:事件(即。,speech segments) are purely detected from the audio signal in the block of ACDE, together with confidence scores. This corresponds to system (b) hitherto presented in the block of multimodal voice activity detection.(2)视频:事件(即。,speech segments) are purely detected from the video using head motion-based speech detection algorithm (described in detail in Section4.3)。(3)音频+视频没有。1:事件(即。,speech segments) are detected from both modalities and are merged in case of their overlap; the confidence scores from audio and video are linearly weighted. This corresponds to system (a) hitherto presented in the block of multimodal voice activity detection.(iv)音频+视频没有。2:事件(即。,speech segments) are detected from audio only, however the corresponding confidence scores are estimated using the visual motion algorithm.(v)音频+视频没有。3:事件(即。,speech segments) are detected from audio only; however the assigned confidences are given by the combination of acoustic and visual confidence scores.

提出的图形输出数据的精细的情节16和17表明,通过采用基于音频和视频形式(音频+视频没有。1)优于VAD自成一派的大部分潜在的操作点。在更详细的视图中,最大的改进是获得音频+视频没有。(即1和监督系统,事件。,speech segments) are first detected independently from both modalities and then merged into a single output stream of events. In case of the simple scenario provided by Dataset 1, where the audio signals from the remote rooms were well separated using echo cancellation and the audio has relatively high SNR, the audio + video combination did not significantly improve over audio-only VAD. It can be seen that audio-based VAD outperforms video-based VAD. However, the combination of Audio and Video is able to enlarge a potential set of operating points (especially when a low false alarm rate is expected). In Dataset 2 the audio is not echo cancelled, and combined Audio + Video offers better detection results over the whole DET curve (especially for low miss probabilities) compared to uni-modal VAD systems.

5.5。SAOC结果

音频分离对象的代码转换(使用DirAC-based定向滤波(15])SAOC对象(2必须评估对一个微不足道的损失质量比其他参数空间编码技术。如果我们达到相应的音频质量,SAOC提供所需的广泛的用户交互的优势。在[20.),SAOC比较的基础上对狄拉克MUSHRA听力测试(40]。编码技术SAOC和狄拉克是基于一个单通道downmix信号。一个未编码的音响信号,即一个M / S-stereo信号作为参考。的M / monodownmix S-stereo信号作为降低锚。

录制麦克风信号作为B-format提供,包括全方位信号W X和y和偶极子信号使用的全方位和偶极子信号M / S-stereo参考信号。六个测试项目记录使用多通道扬声器回放设置在一个温和的混响室。声音场景由两个或三个语言安排+ 60°,−60°和0°和包含单引号和双谈话的情况。三项目,分散的背景噪音(记录在贸易展)添加9 dB的信噪比。

除了参考M / S-stereo信号,我们B-format信号编码成狄拉克和直接呈现传统音响设置。测试系统StrfFwd (SAOC)、高效(包括有效的DirAC-to-SAOC)代码转换从狄拉克SAOC。根据活动语言的数量,两个或三个方向过滤实例被引向了来源(喇叭)。对于系统StrfFwd,我们计算分离源信号之前SAOC编码;系统有效的直接有效的代码转换从定向筛选SAOC对象(20.]。mono锚系统LowAnchor表示。

图18显示的结果MUSHRA听力测试(对微不足道的损失质量比其他参数空间编码技术)。参考系统可以明显区别于编码系统。评估主要是基于空间的图像,使用SAOC略有不同。没有编码的文物或场音色颜色已报告了8个专家听众。因此,DirAC-to-SAOC转码方案只能略差评为狄拉克系统。应该注意的是,只有SAOC提供了很大程度上的用户交互性的优势。

5.6。计算成本分析

系统架构分为4个主要部分,如图2。当前实现假定每一个4部分是运行在单个CPU核心一个64位的电脑,以满足整个系统的实时约束。更具体地说,我们使用TCP套接字实现分离ACE块(提供echo-cancelled录音的麦克风阵列)从另一块。ACE直接与ACDE通信安装与其它块(VCDE和UCDE) 4核的CPU(即。、英特尔(R) (TM)核心i7在2.8 GHz CPU 12 GB RAM)。

王牌,VCDE UCDE可以实时大约10倍。最复杂的部分是ACDE包含一个大词汇连续语音识别。ACDE的实时性能是由译码器参数优化(即控制。修剪)。

6。结论

在本文中,我们提出了一个系统旨在实现更高层次的多通道流操作,同时满足特定需求的TA2场景和解决相应的挑战:流和语义信息需要实时计算与低延迟从空间上分开传感器(一个房间内)在一个开放的、不受约束的环境;系统跟踪潜在的不同数量的不受限的人坐在特定的地方;相关的检测到事件需要可靠的和一致的人。

更特别,一个智能音频捕获块输入声音转化成个人声学混响环境中对象的开发应用。这样的声学分析对象代表一个声音场景可以包含多个语音源出现在同一个房间里记录的全向麦克风阵列。音频源本地化然后使用的能量重心直方图进行DOA估计的方向声音紧随其后的是聚类算法提供声音来源的最终数量和他们的位置。最后,使用基于对象的表示MPEG-SAOC用于传输。

为更高级的流操作,语义信息提取是利用视听输入的各种组件来执行的。视觉信息是利用跟踪,人识别、头部姿势估计,视觉关注的焦点,和视觉的演讲,演讲者检测组件。提供的音频输入SAOC到达方向,语音活动检测和关键字定位组件。最终,视听协会和融合产生双峰信号进行估计是利用在后续更高层次的处理。

总的来说,我们的主要贡献是一个集成的实时系统的设计与延迟130 ms包括以下几个先进的视听处理算法和全面绩效评估系统的不同组件的两种不同的具有挑战性的数据集。系统面临的主要评估组件跟踪、议长本地化和匹配,多通道语音活动检测、视觉关注的焦点,估计和空间音频编码对象对微不足道的损失质量比其他参数空间编码技术。

承认

研究导致这些结果已收到资金从欧洲共同体的第七框架计划ICT TA2集成项目(批准号协议214793)。

引用

1. m . Falelakis r·凯瑟w·维斯,m . f . Ursu“推理video-mediated组沟通,”学报》第12届IEEE国际会议多媒体和世博会(ICME 11)2011年7月、西班牙的巴塞罗那。视图:出版商的网站|谷歌学术搜索
2. j . Engdegard b . Resch c Falch et al .,“空间音频编码对象(SAOC) - - -即将到来的参数对象基于MPEG标准音频编码”学报124 AES公约,阿姆斯特丹,荷兰,2008年。视图:谷歌学术搜索
3. j . Carletta阿什比,美国Bourban et al .,“AMI会议文集,”多通道交互的程序的机器学习(MLMI ' 05)2005年,爱丁堡,英国。视图:谷歌学术搜索
4. z汗,鲍尔奇t f . Dellaert”MCMC-based粒子滤波跟踪数量可变的交流目标,“IEEE模式分析与机器智能,27卷,不。11日,第1819 - 1805页,2005年。视图:出版商的网站|谷歌学术搜索
5. j . Ajmera强大的音频分割[博士。论文)洛桑联邦理工(EPFL), 2004年。
6. j . Pardo x Anguera, c . Wooters”发言人diarization multi-microphone会议只使用槽型差异,”多通道交互的程序的机器学习(MLMI 06年)美国,马里兰州贝塞斯达2006。视图:谷歌学术搜索
7. d . Korchagin“音频时空指纹万里无云的移动设备的实时免提diarization,”学报第三免提麦克风阵列语音通信和联合车间(HSCMA 11)英国爱丁堡,页25 - 30,2011年6月。视图:出版商的网站|谷歌学术搜索
8. c·桑德森和k . k . Paliwal信息融合和人验证使用语音和面部信息,“Idiap研究报告IDIAP-RR 02-33, 2002年。视图:谷歌学术搜索
9. m . Slaney和m . Covell Facesync:一个线性算子测量同步视频面部图像和音频轨道,”神经信息处理系统的程序,第820 - 814页,2000年。视图:谷歌学术搜索
10. d . Korchagin p . Motlicek美国伯和h . Bourlard“即时多通道从家庭娱乐协会和融合,”学报》第12届IEEE国际会议多媒体和世博会(ICME 11)2011年7月、西班牙的巴塞罗那。视图:出版商的网站|谷歌学术搜索
11. j·赫尔希和j . Movellan”音频视觉:使用视听同步定位的声音,”神经信息处理系统的程序,第819 - 813页,1999年。视图:谷歌学术搜索
12. h·诺、g . Iyengar和洗鼻,“议长本地化使用视听同步:一个实证研究,”第二届国际会议上图像和视频检索(CIVR ' 03)厄,生病,美国,2003年。视图:谷歌学术搜索
13. m . Gurban和j . Thiran“多通道扬声器定位概率框架,”信号处理程序的欧洲会议(EUSIPCO 06年)佛罗伦萨,意大利,2006年。视图:谷歌学术搜索
14. k .大冢,荒木,k .不能m .藤本m·海因里希和j .大和民族的“实时多通道系统分析小组会议结合人脸姿态跟踪和s峰化器diarization,”学报第十届国际会议上多通道接口(ICMI 08年)有关,页257 - 264年,希腊,2008年10月。视图:出版商的网站|谷歌学术搜索
15. 诉Pulkki”,与定向音频编码空间还音”,音频工程协会杂志》上,55卷,不。6,503 - 516年,2007页。视图:谷歌学术搜索
16. 理查德和O。Yilmaz”近似W-disjoint正交的演讲》诉讼IEEE国际会议上的声波,演讲,和信号处理(ICASSP ' 02),页529 - I / I / 532, 2002年5月。视图:谷歌学术搜索
17. o . Thiergart g . Del Galdo m .保诚和f . Kuech”三维声场分析定向音频编码基于信号自适应参数估计,”美国AES 40国际会议空间音频:感觉空间的声音2010年10月,东京,日本,。视图:谷歌学术搜索
18. o . Thiergart r . Schultz-Amling g . Del Galdo d . Mahne和f . Kuech”声源的定位在混响环境下基于定向音频编码参数”学报127 AES公约美国,纽约,纽约,2009年。视图:谷歌学术搜索
19. m . Kallinger h . Ochsenfeld g . Del Galdo et al .,“定向音频编码、空间滤波方法”学报126 AES公约,2009年。视图:谷歌学术搜索
20. j . Herre c . Falch d . Mahne g . Del Galdo m . Kallinger o . Thiergart,“交互式电话会议结合空间音频编码对象和狄拉克技术”学报128 AES公约,伦敦,英国,2010年。视图:谷歌学术搜索
21. 美国伯和人类。Odobez”跟踪长期在线multi-face跟踪框架,创建和删除”IEEE图像处理,22卷,不。1,第285 - 272页,2013。视图:谷歌学术搜索
22. p .中提琴和m·琼斯,“快速目标检测使用一个简单的特性,提高了级联”《IEEE计算机学会学报计算机视觉与模式识别会议1卷,第518 - 511页,2001年12月。视图:谷歌学术搜索
23. c . Scheffler和j . m . Odobez“联合自适应颜色造型和皮肤,头发和衣服分割使用一致的概率指数映射,”《英国机器视觉会议,2011年。视图:谷歌学术搜索
24. e·里奇和人类。Odobez”,学习大型保证金可能实时头部姿势跟踪”《IEEE国际会议上图像处理(ICIP ' 09)2009年11月,页2593 - 2596。视图:出版商的网站|谷歌学术搜索
25. s . o .英航和人类。Odobez”,认识到视觉关注的焦点从头部姿势自然会议,”IEEE系统,人,控制论B,39卷,不。1,16-33,2009页。视图:出版商的网站|谷歌学术搜索
26. d . Sodoyer铆钉,l . Girin J.-L。施瓦茨,c . Jutten“视觉语音信息的分析应用于语音活动检测”《IEEE国际会议音响、演讲和信号处理(ICASSP 06年)2006年5月,页I601-I604,。视图:谷歌学术搜索
27. 美国Siatras: Nikolaidis、m . Krinidis和皮塔饼,“视觉唇活动检测和扬声器检测使用嘴部区域的强度,”IEEE电路和系统视频技术,19卷,不。1,第137 - 133页,2009。视图:出版商的网站|谷歌学术搜索
28. h .挂和s . o .英航”演讲/测度技术检测在会议上自动提取低分辨率视觉特性,”《IEEE国际会议音响、演讲和信号处理(ICASSP 10)2010年美国德克萨斯州,达拉斯。视图:谷歌学术搜索
29. c·h·克纳普和g·c·卡特:“广义相关时延估计方法,”IEEE声学,演讲,和信号处理,24卷,第327 - 320页,1976年。视图:谷歌学术搜索
30. j . DiBiase h·西尔弗曼,m . Brandstein“混响室,强劲的本地化”麦克风阵列m . Brandstein d·沃德,Eds。第八章,施普林格,2001年。视图:谷歌学术搜索
31. p . n .获得“沉默模型加权有限状态传感器,”学报》国际言语交际协会第九届年会(INTERSPEECH ' 08),页1817 - 1820,布里斯班,澳大利亚,2008年9月。视图:谷歌学术搜索
32. GSM 06。94年,数字蜂窝通信系统(2 +阶段),“自适应多速率语音活动检测(VAD) (AMR)演讲交通通道,”1999年。
33. j .进餐,j . Vepa, t·海恩,“多通道的分割会议录音自动语音识别,”INTERSPEECH和学报》9日国际会议上口头语言处理(INTERSPEECH ICSLP 06年)2006年9月,页1213 - 1216。视图:谷歌学术搜索
34. p . n .获得j .进餐,t·海恩et al .,“从会议、实时ASR”学报》国际言语交际协会第十届会议(INTERSPEECH ' 09)布莱顿,页2119 - 2122年,英国,2009年9月。视图:谷歌学术搜索
35. f . Kuech m . Kallinger m·施密特c .针板和a . Favrot“声学回声抑制基于平稳和非平稳的分离与组件”《声学回声和噪音控制2008年美国,西雅图,洗。视图:谷歌学术搜索
36. 美国伯p Motlicek, d . Korchagin”TA2数据库:一个多通道的数据库从家庭娱乐,”信号采集和处理的程序,新加坡,2011年。视图:谷歌学术搜索
37. Lathoud和中情局McCowan”,组建一个以完成多个扬声器和麦克风阵列的定位”诉讼的车间统计和感知音频处理(SAPA 04年)济州岛,韩国,2004年。视图:谷歌学术搜索
38. d . Vijayasenan f·瓦伦特h . Bourlard,”发言人的信息理论方法diarization会议数据”IEEE音频、语音和语言处理,17卷,不。7,1382 - 1393年,2009页。视图:出版商的网站|谷歌学术搜索
39. 答:马丁,g . Doddington t·卡姆·m·Ordowski和m . Przybocki”的侦破曲线评估检测任务的性能,”《欧洲语音通信和技术会议(Eurospeech 97)4卷,第1898 - 1895页,罗兹,希腊,1997。视图:谷歌学术搜索
40. 如技术建议,”MUSHRA-EBU中间音频质量的主观听力测试的方法,”医生。B / AIM022, 1999。视图:谷歌学术搜索

版权

版权©2013切赫Motlicek等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。