文摘

话语集群的积极研究主题在音频信号处理和机器学习。本研究旨在提高话语集群的性能通过处理多声道立体声音频信号。处理音频信号被左相结合,生成合适通道音频信号在几个不同的方式,然后通过提取(也称为嵌入的特性d向量)的音频信号处理。本研究应用监督话语集群的高斯混合模型。在训练阶段,一个parameter-sharing高斯混合模型得到训练模型为每个演讲者。在测试阶段,演讲者与最大似然被选为发现演讲者。实验结果与实际录音多人讨论的会议表明,该方法使用多通道音频信号实现比传统方法更好的性能与单声道音频信号在更复杂的环境。

1。介绍

随着人工智能(AI)的发展,很多技术应用于我们的日常生活中,如自动语音识别(ASR) [1和说话人识别。在语言处理研究和产品被广泛用于我们的日常生活中,如苹果的Siri,亚马逊的Alexa,谷歌助理,和微软的Cortana。随着越来越多的研究开发在语音处理,它可能会进一步增加人气。话语在语音处理集群是一个流行的话题,可用于扬声器diarization [2)和ASR。然而,大多数研究都是基于实验室的数据集,这些并不能很好的处理现实世界的问题。正式和非正式的会议有更多的部分重叠的演讲比部分只有一个扬声器(3]。在实验室的数据集,人们说话,但很难让人们不要打断别人的讲话在现实世界中。重叠语音段的问题(已经受到了相当大的关注4]。扩大语音处理的应用,有必要在话语重叠集群更好的性能。

话语集群的性能提高的一个关键方面是嵌入的音频特征。功能嵌入起着至关重要的作用在确保话语集群的性能。有很多研究专注于增强嵌入的音频特性,如mel-frequency cepstral系数(MFCC) [5),我向量(6),x向量(7),而d向量(8]。然而,一个重要的瓶颈对语音处理应用程序的广泛应用在日常生活是高质量的音频数据的需求。此外,音频信号处理功能嵌入的可能是一个因素。需要有一个更好的演讲者diarization方法使用低质量的录音数据在许多社会科学实验。本研究最初尝试几个不同的发表我们自己的实验研究方法,但是他们的结果不如我们所希望的。

为解决这一问题,提出了一种新的音频信号处理方法对于话语集群(9]。本研究旨在解决所面临的挑战是如何处理低质量的音频数据记录在实际讨论设置。音频数据集被记录在嘈杂环境中使用一个普通的视频摄像机没有专业的麦克风。本研究有助于话语录音条件时集群的发展是有限的。

本研究旨在提高集群性能通过处理多声道立体声音频信号。单声道音频信号通常是用于音频处理的研究,因为他们可以轻松获得downmixing立体声音频信号。然后d向量的每个音频段获得使用pretrained神经网络作为音频特征表示。

高斯混合模型(GMM)被用作监督聚类方法。集群的错误率(ER)比较,结果表明,使用多通道音频信号处理话语集群明显比使用原始单声道音频信号。论文的结构如下。部分2介绍了一些相关的工作。节3,该方法在功能处理和高斯混合模型。部分4显示数据集的细节和实验的细节。讨论的结果部分5,结论和未来工作计划中描述的部分6。

2。相关工作

众多研究人员已经取得了重大进展在话语集群和相关领域在过去的几十年里。某些研究更强调功能嵌入;从历史上看,最常见的是MFCC特征表示(5),这是一个基于傅里叶谱的方法。然后,随着因子分析的发展,Dehak et al。6)提出了因子分析我向量。他们的因子分析考虑了扬声器的可变性和渠道没有区别。Lei,库恩(10)提出了小波包熵热电制冷从话语中提取短向量,然后使用我嵌入向量作为特征。与我向量,d向量(8)也有固定的大小,无论输入话语的长度。Wan et al。11)训练有素的扬声器的话语使用深神经网络,这些话语的长度各不相同,导致固定长度的嵌入,即d向量。之间的区别我向量和d使用GMM生成向量是前者,而后者是使用深层神经网络训练。类似于d向量,x向量(7也与深层神经网络训练。马等。12)提出了一个E向量,通过最小化欧几里得度量提高扬声器的性能鉴定。所有的功能嵌入提到的被普遍使用,和d向量是用于这项研究。也有一些作品关注的改进特征提取。林等。13]介绍了一种新的特征提取方法,将多分辨率分析和混沌特征提取相结合,提高话语的性能特性。Daqrouq et al。14)提出了一种基于小波包变换的特征提取方法(WPT)。他们把沉默部分从音频数据和音频信号在小波包分解树节点。

在一些研究中,聚类算法给出更大的考虑。Delacourt和Wellekens15应用贝叶斯信息准则(BIC)来衡量话语之间的距离并进行了烧结的层次聚类(AHC)基于BIC指标。李等人。16)进行了MFCC GMM分类扬声器的性别。Algabri et al。17)与通用背景模型应用高斯混合模型(GMM-UBM)认识到演讲者根据话语的MFCC。Shum et al。18)使用的再分割算法基于贝叶斯GMM聚类模型我矢量为提高演讲集群。Zajic et al。19)提出了一种应用卷积神经网络(CNN)模型我向量检测扬声器的变化。王等人。20.开发LSTM模型d为演讲者diarization向量。Zhang et al。21)建造了一个监督演讲者diarization系统提取的d向量,称为无限interleaved-state复发性神经网络(UIS-RNNs)。

前面的努力相比,本研究使用音频信号处理而不是单声道音频样本。处理音频信号是来自多通道音频信号(立体声),和该方法试图保护更具代表性的音频特征。

3所示。方法

在本节中,该方法处理的音频特性是进行了讨论。所示的细节处理多通道音频功能,和工具是用来提取嵌入的音频特性是描述。同时,给出了聚类方法。

3.1。功能处理

本研究运营left-channel音频信号和合适通道音频信号获取的演讲只音频特性在当前工作。处理可视化在图的细节特征1。这个例子表明,去除nonspeech部分后,演讲者的演讲时间是27秒。在这个工作中,27秒的立体声音频被分为54立体声音频片段,每0.5秒的长度。之后,单声道音频文件提取,left-channel音频文件和合适通道音频文件从0.5秒长立体声音频文件。Python包librosa [22)是用于获得左右音频信号的时间序列。

水平叠加的原始左和右音频信号(hstack)和水平叠加之和和左边的区别——和合适通道信号(sumdif)进行。该方法的计算复杂度 ,在哪里音频信号的长度,这是相同的以传统方法(尽管实际计算大约需要两倍,因为我们的方法处理两个渠道的音频信号)。

训练集,所有人的话语 被收购,代表扬声器的音频数据集的数量,和代表所有的序列段的说话演讲者。具体地说, ,在哪里代表了扬声器的音频信号段。然后离开,从每个段合适通道音频信号提取:为演讲者的left-channel音频信号段和为演讲者的合适通道音频信号段了。使用左和右通道,下面两个结合音频段创建: 和 。为扬声器的音频片段, 得到了, 。创建一个公平的比较,mono堆栈,叫做mstack。这是一个堆栈的结果重复单声道信号,表示为 。

3.2。功能嵌入

功能处理后,d向量(11)是提取音频信号的特征表示。pretrained模型称为实时语音克隆(23)被用来提取d向量。pretrained模型被训练使用三个数据集:一个数据集是LibriSpeech ASR语料库[24),其中包含292000年英语话语超过2000人,和其他人VoxCeleb 1和2 (25,26),其中包含超过100万多种语言话语超过7000人。

一个d向量从每个提取,获得 ,在哪里代表d向量的扬声器的音频片段 。然后,GMM集群上提取的d向量。

3.3。高斯混合模型

高斯混合模型(GMM)作为聚类方法。GMM是最常用的工具之一扬声器集群。在这项研究中,单独的GMM模型建造单个扬声器,定义为 在哪里代表了音频信号的特征向量,输入音频信号的概率是属于特定的集群,代表了混合比例,代表的意思是,代表了协方差矩阵(27]。期望最大化(EM)算法(28)是用于在GMM估计模型参数。在声学建模(GMM具有显著的优势27]。

4所示。实验

实验的细节在这一节中描述。在这项研究中使用的数据集的细节了。然后,本研究中使用的工具进行介绍了音频处理。同时,集群实验显示的细节。确保对比该方法和比较方法是公平的,相同的音频数据和相同的音频处理方法提取多声道音频信号和单声道音频信号被用于该实验的方法和比较的方法。最后但并非最不重要,一个参数共享进行了GMM方法和比较方法。

4.1。数据集

一个数据集(29日由多个参与者]包含11个视频文件的讨论在真实的物理环境是用于拟议的工作。演讲者在11个视频的数量范围从4到10,女性使用者的数量从1到6,男性演讲者不同的数量从1到6,和所有人说英语。每个演讲者的演讲时间范围从1到130.5秒。所有11个视频的总说时间是31.6分钟,平均每个演讲者说时间是26.7秒。真实的数据集是人工注释标签。

在拟议的实验,比较两组。一组音频文件包含重叠的演讲,和另一个音频文件不包含重叠的演讲。的音频文件在这两个组是相同的音频。演讲者是在真实的自由讨论的情况下,和一个普通的视频摄像机是用来记录所有视频和音频,内置立体声麦克风。

4.2。音频处理

FFmpeg [30.)是用于提取立体声音频视频文件的文件和单声道音频文件。基于手工注释说时间数据、音频片段为每个不同的扬声器被削减。然后,每个不同扬声器的音频段切成短段长度的0.5秒。短于0.5秒的音频文件被删除。然后,立体声信号被分为左,合适通道信号,和d向量处理信号。音频信号处理后,集群实验。

4.3。集群的高斯混合模型

提出工作申请scikit-learn [31日]GMM训练和测试。在最初的实验中,一个小的数据集的一部分,传统方法(单声道音频信号)被用来调整参数来获得更好的精度。对公平的比较,同样的参数设置对所有提出的方法。完整的协方差和类型K则被用来初始化模型。

的输入集群模型d向量和集群实验50次;每一次,10倍交叉验证测试。

在训练阶段,d向量 ,在哪里是的扬声器总说时间。训练模型,扬声器的标签序列 为演讲者 。本研究训练GMM模型对于每一个扬声器,然后模型集 得到了,代表了演讲者的训练模式。的测试,有d向量为每个扬声器的音频段 ,在哪里是的扬声器总说时间。为扬声器, 。测试集的元素被投入GMM Yhat生成最大似然的预测结果。然后,与地面真理获取出错率。

5。结果

这部分将显示该实验的结果。特征向量的可视化显示显示功能处理的结果,然后GMM聚类的结果和意义测试的结果将会显示。

5.1。功能处理

数据2和3显示处理的可视化特征向量使用t-SNE [32],提出的算法(hstack和sumdif)显示更好的聚类结果。数据点显示清单集群在拟议的方法。从数据可以看出2和3在拟议的方法,数据点的演讲者04、05、06、07年是集群更密切。这意味着d向量包含更多信息,使用多通道音频信号处理时的比使用单声道音频信号提取。

本研究改善的性能特性嵌入通过处理多通道音频信号。该方法从音频信号提取更多的有用的特性。虽然进步明显,仍有一些音频和重叠群之间的差异和音频没有重叠。与音频没有重叠组相比,该方法提高了性能的功能嵌入音频和重叠群。音频与重叠集团是更复杂的比没有重叠的音频组。在复杂场景中提取有用的特性可以帮助更多比简单的场景。

5.2。聚类

表1显示的比较z分数的GMM错误率在不同的算法。从表1sumdif算法优于其他算法的音频和重叠群。在音频没有重叠集团mstack算法更有效。然而,hstack sumdif工作比mono。hstack的整体性能和sumdif比mono和mstack。

单向方差分析测试图基HSD测试进行,以确定是否有差异算法相比的错误率。结果如表所示2与重叠集团音频和音频没有重叠。两组之间有统计学上非常显著差异的算法。

结果图基HSD测试如表所示3。结果表明,提出的算法(hstack和sumdif)明显不同于传统算法(mono和mstack)之间的音频信号包含重叠时的演讲。音频信号时不太清楚的差异没有重叠。

聚类的结果意味着,即使传统的GMM应用而不是深度学习的模型,使用话语中的音频信号处理聚类可以实现一个精度高的分数比单声道音频信号。在这项研究中使用的数据集是一个真实的讨论。该方法显示了显著改善在讨论复杂的场景中,通过实现深度和性能可以进一步提高学习模型。均数差的平均值也表明,与简单的条件(音频没有重叠)相比,该方法从音频中提取更多的功能,更有利于话语集群在复杂场景中与重叠(音频)。

6。结论

本研究生成的音频信号处理结合左,合适通道音频信号在两种不同的方式。d与嵌入式特征向量提取的音频信号处理。GMM进行监督话语集群。基于从监督聚类的实验结果,该方法比传统方法更好的在复杂条件下工作。即,该方法可以实现准确性分数高于使用传统算法包含重叠在演讲。这是因为立体声音频信号包含空间声源的位置信息(在左右方向空间)。在一个典型的现实讨论设置,演讲者往往坐在固定的位置,所以使用空间信息可以帮助演讲者身份和话语集群。本研究成功地证明了这一观点。

该方法的一个局限是计算成本。尽管该方法的理论计算复杂度是一样的传统方法,在实际的实验中,该方法的运行时间大于传统方法。此外,使用立体声音频信号在这项研究中,另一个限制是,输入数据必须涉及空间信息的多通道音频信号。

在这项研究中,应用GMM作为聚类方法。使用深度学习将创新型集群模型提出了未来的工作。在应用不同的聚类方法,有更全面的提出算法和传统算法之间的比较。

数据可用性

音频数据用于支持本研究的发现没有可用因为机构审查委员会的权限不适应他们的释放。

信息披露

这项工作的预印本版本也可以https://arxiv.org/abs/2009.05076。本课程的观点是作者的,不能反映部门的官方政策或位置的军队,国防部、美国政府。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项研究是由美国陆军研究行为和社会科学研究所的军队(批准号w911nf - 17 - 1 - 0221)。