基于特征融合视听议长识别使用隐马尔科夫模型在不同照明的变化

文摘

本文的目的是提出一个基于特征融合视听议长识别(AVSI)系统在不同条件下的照明环境。在不同的融合策略,特征级融合已被用于该AVSI系统隐马尔可夫模型(HMM)用于学习和分类。自从特性集包含了丰富的原始生物特征数据的信息比其他任何水平,整合功能水平预计将提供更好的验证结果。摘要Mel频率Cepstral系数(MFCCs)和线性预测Cepstral系数(LPCCs)结合的音频特征向量和基于主动形状模型(ASM)的外观和形状面部特征连接视觉特征向量。这些组合用于feature-fusion音频和视觉特性。减少音频和视觉特征向量的维数,主成分分析(PCA)方法使用。有效的视听数据库是用来测量提出了系统的性能,被认为是四个不同的照明水平的照明条件。实验结果关注的意义该视听扬声器的音频和视觉识别系统与不同的组合功能。

1。介绍

人类说话人识别在本质上是双向的(1,2]。在面对面的谈话中,我们听别人怎么说,同时观察他们的嘴唇动作,面部表情和手势。特别是,如果我们有一个问题听由于环境噪声、言语理解的视觉信息中起着重要作用[3]。即使在清洁的环境,说话时语音识别性能得到了改进的脸是可见的(4]。一般来说,的确,自成一派的说话人识别系统没有足够足以满足人的各种用户要求识别。AVSI系统承诺减轻由自成一派的识别遇到的一些缺点。视觉语音信息可以发挥重要作用的提高自然和健壮的人机交互5,6]。事实上,各种重要的人机组件,如扬声器识别、验证(7),定位(8],语音活动检测[9),语音信号分离(10)、编码(11)、视频索引和检索(12),和语音13),从视觉通道已被证明14]。

视听识别系统可以显著提高生物识别系统的性能除了改善人口覆盖率,阻止欺骗攻击,增加自由度,减少failure-to-enroll率。虽然存储需求、处理时间和视听系统的计算要求远高于系统自成一派议长识别、有效集成的音频和视觉特性可以消除或减少大多数提到的问题。融合的音频和视觉功能是一个重要的融合策略可以改善AVSI系统的系统性能。在特征级融合,足够的信息可以存在匹配分数相比,排名,和决策级融合15]。因此,可以预期,特征级融合可以实现更高的性能比其他融合策略已被纳入该AVSI系统。

大多数作品发表在领域的AVSI系统关注决策级融合策略对于无噪声环境(16- - - - - -19),很少研究工作介绍嘈杂的环境条件20.,21]。这项工作的目的是使用功能融合AVSI系统在不同光照水平的照明条件。不同的音频和视觉特性结合在多个层面提出系统。论文的后续部分关注该框图,演讲和面部特征的特征提取,融合多通道音频和视觉特征向量,降维的多个特性,用嗯,分类和性能的分析,提出AVSI系统。

2。范式的视听说话人识别系统

的体系结构提出了视听功能基于融合的说话人识别系统如图1。基于LPCC和MFCC的音频功能和外观和形状基于面部特征分别连接,最后基于音频和视觉特性融合HMM分类器。归一化技术被应用在不同的时间正常功能。PCA已经被用于减少语音和面部特征向量的维数,原文的主成分特征充分地保留它们的属性。

3所示。音频特征提取和融合

捕捉语音信号,采样频率为11025赫兹_,采样分辨率为16位,monorecording频道,并记录文件格式一直在考虑。维纳滤波器用于消除背景噪音从最初的语言话语22,23]。语音端点检测和沉默部分去除算法被用来检测存在的言论和消除脉冲和沉默的背景噪音24,25]。检测单词边界,计算帧能量使用sort-term日志能量方程(23]:

预加重被用来平衡表示声音的频谱有一个陡峭的高频率地区碾轧。数字滤波器的传递函数域是26] 在哪里是预修正参数。

帧阻塞已经完成25%到75%的重叠框架的大小。通常帧长度为10 ~ 30毫秒已经使用。重叠分析的目的是,每个语音的输入序列将大约集中在某一帧(27]。

从不同类型的窗口技术,汉明窗已被用于这个系统。使用窗口的目的是减少光谱的影响而导致的构件框架过程(28]。汉明窗可以定义如下:

从语言话语中提取特征,各种类型的标准的语音特征提取技术(26)如碾压混凝土、MFCC、ΔMFCCΔΔMFCC, LPC分析,应用了LPCC。计算语音的特性后,12帧,每一帧中提取包含36个特性。规范化每一帧的特征值,特征是归一化法是适用的。通过这种方式,维特征提取每个演讲话语。最后,432维MFCC和432维LPCC基于语音特征提取语音话语。基于主成分分析的降维已经完成432维的特征向量转化为120维度的。最后,基于LPCC和MFCC特征向量是连接生产240维MFCC-LPCC基于音频特征。

4所示。视觉特征提取和融合

高质量的数码相机被用来捕获图像。脸图像采集后,斯塔姆(29日]活动外观模型(ASM)已经被用于检测面部特征。然后二进制图像了。选择感兴趣的区域(ROI)根据ROI选择算法(30.,31日]。最后,背景噪音消除(32),最后发现了外貌的面部特征。面部图像预处理部分的过程如图2。减少面部特征向量的维数,PCA一直使用。

5000维的相貌和基于176维形状特征计算了上述过程。生的面部特征,也就是说,5000维外观特征向量和176维形状特征向量转化为192和14尺寸的分别。前应用PCA, min-max正常化技术已经使用使用以下方程: 在哪里是生成的函数。

min-max技术是有效的,当组件特性的最大值和最小值是已知的。在这种情况下,这类信息不可用,估计这些参数必须获得可用的样本训练数据(33]。最后,192维表象和14维形状特性连接提到视觉特征融合。

5。视听特征融合和HMM分类

240维音频特征向量和206维视觉特征向量是融合生产446维的视听特征向量。由于视听特征向量的维数足够大,PCA已经被用于减少维数到220。美联储降低视听功能终于嗯学习和分类模型。

在HMM训练阶段,对于每一个脸,一个遍历离散HMM (DHMM),已建成[34]。模型参数估计优化的训练集观测向量的可能性脸用Baum-Welch算法。一直认为的Baum-Welch reestimation公式如下(34,35]: 在哪里

在DHMM测试阶段,对于每一个未知的脸识别,这个过程包括:(我)测量的观察序列,,通过功能分析的语音对应一张脸,(2)转换的连续值为整数值,(3)计算模型可能的所有可能的模型,,(iv)声明的脸人的模型可能是最高的;也就是说,

在这工作,提出了概率计算步骤使用鲍姆的Forward-Backward执行算法(35]。

6。提出了系统的性能分析

有效的视听数据库(36)已被用于测量提出了说话人识别系统的性能。人工高斯白噪声添加到原始纯净语音话语来模拟各种信噪比水平。在纯净语音模型训练的话语与话语和测试下信噪比水平从0到30 dB的间隔5分贝。有效的数据库包含一个中性和四个不同的办公室环境嘈杂的每个人的演讲。话语的五个演讲,一个干净的演讲是用于学习和其他四人用于测试目的的声音在哪里人为添加从0到30 dB的间隔5分贝。

基于实验结果的视听特征融合识别在各种维度被抓获。自LPCC和MFCC基于音频特征和外观形状和基于视觉特性被认为是基于视听功能融合的说话人识别系统,实验结果是检验根据MFCC的各种组合,LPCC,和基于MFCC-LPCC音频通道的特点和外观,形状,外观形态视觉形态的基础特征。

6.1。最优值选择DHMM隐状态的数量,

以来的隐状态DHMM影响视听功能基于融合的说话人识别系统的性能,结果被根据不同组合的音频和视觉特性如图3。在图3(一个)最佳值的隐状态显示的数量根据外貌和MFCC的结合,基于面部特征LPCC和MFCC和LPCC分别基于音频特征。最高议长识别94%的速度被发现15岁多的隐状态使用外观时,基于MFCC和LPCC特征。基于形状的识别速度和MFCC面部特征,LPCC和MFCC和LPCC基于音频特征如图3 (b)根据隐状态的数量。当隐状态的数量是13,鉴定率最高95%的被发现。图3 (c)显示设置后的结果的隐状态不同的相貌和基于形状特征组合与LPCC和MFCC。

6.2。性能分析的视听特征融合的不同变化

测量性能的视听功能基于融合的说话人识别系统,不同的实验被执行,我们测量的性能从不同角度下面所示。

6.2.1。实验基于个人特征的性能

个人表演的每一个特征提取技术研究,如表所示1。结果显示根据不同音频信噪比利率的视觉特性不受音频噪声的影响。从表中,结果表明,结合基于外观和形状的面部特征可以识别速率大于个体的视觉特性。但基于形状特征比外表有更好的识别人脸识别。另一方面,为音频识别性能,根据不同的信噪比率是不同的。识别速率随信噪比的减少速率。在0分贝噪音,识别速度较低,高30 dB音频噪声。从结果,表明基于MFCC结果比LPCC特征,并结合基于LPCC和MFCC特征能给更好的性能比MFCC只和LPCC特征。

6.2.2。实验在不同的音频特性基于外观的面部特征

各种音频特性,比如MFCC、LPCC和MFCC和LPCC特征与基于外观的面部连接功能。嗯学习和分类技术用于测量系统的性能。检查结果是根据各种信噪比从0到30 dB在图所示4。最高议长识别92%的速度被发现在基于外观特征与结合LPCC和MFCC音频特性根据信噪比30分贝。

6.2.3。实验在不同的音频特性与基于形状的面部特征

性能度量不同音频特征和基于形状的面部特征如图5。这表明基于LPCC和MFCC的音频特征的组合能给最好的结果与基于形状的视觉特性。最高的身份被发现93.67% 30 dB的信噪比。

6.2.4。基于音频特征与实验结合外观和形状的面部特征

最后,基于外观和形状的面部特征结合LPCC和MFCC基于音频特征和相应的测量性能如图6。在这个实验中,我们观察到的外观和形状为基础结合面部特征给常数辨识率,它是93%。其他组合的鉴别率的音频和视觉特性有不同的标识率不同信噪比的变化。在所有的情况下,基于视听特征融合识别速度的增加与减少音频信噪比。在信噪比30 dB,鉴定率为93.67%,92%,和95%时应用MFCC, LPCC,和MFCC-LPCC外观和基于形状的面部特征相结合,分别。

7所示。结论和观察

实验结果和性能分析表明,该视听功能基于融合的说话人识别系统可以执行比任何其他基于单一特征的方法。四种不同的光环境对面部形象。人工音频高斯白噪声的0到30 dB的间隔5 dB被添加到干净的语音信号。该系统能够足够的工作在不同的照明环境。但系统性能可能降低其他嘈杂的环境中,这可能是未来研究论文的作者。在这种情况下,提出feature-fusion方法可以应用在聚变方法可进一步提高效率的视听议长识别速度。

利益冲突

作者宣称没有利益冲突有关的出版。

引用

1. d . g .鹳和m·e·亨内克Eds。视话法由人类和机器施普林格,柏林,德国,1996年。
2. r·坎贝尔、b·多德和d·伯纳姆Eds。听到眼二世1998年英国,心理出版社,举起。
3. l·a·罗斯,d . Saint-Amour诉m·莱维特d . c . Javitt j·j·福克斯著,“你明白我说什么吗?探索视觉增强讲话的理解在嘈杂的环境中,“大脑皮层,17卷,不。5,1147 - 1153年,2007页。视图:出版商的网站|谷歌学术搜索
4. p·阿诺德·f·希尔,”Bisensory增加:视话法优势当言论显然是音响和完整,”英国心理学杂志上的,卷92,不。2、339 - 355年,2001页。视图:出版商的网站|谷歌学术搜索
5. 美国杜邦和j . Luettin“视听语言建模连续语音识别,”IEEE多媒体,卷2,不。3、141 - 151年,2000页。视图:出版商的网站|谷歌学术搜索
6. g . Potamianos j . Luettin, c .洗鼻,“视听LVCSR分级判别功能,”《IEEE Interntional音响、会议演讲,和信号处理2001年5月,页165 - 168。视图:谷歌学术搜索
7. c . c . Chibelushi f . Deravi和j·s·d·梅森,“回顾基于语音的双峰识别,”IEEE多媒体,4卷,不。1,23-37,2002页。视图:出版商的网站|谷歌学术搜索
8. d . n . Zotkin r . Duraiswami l·s·戴维斯,“联合视听跟踪使用粒子过滤器,”EURASIP应用信号处理》杂志上,卷2002,不。11日,第1164 - 1154页,2002年。视图:出版商的网站|谷歌学术搜索
9. p . de Cuetos c .洗鼻,a . w .高级“视听intent-to-speak检测进行人机交互,”《IEEE Interntional音响、会议演讲,和信号处理,页2373 - 2376,伊斯坦布尔,土耳其,2000年6月。视图:谷歌学术搜索
10. d . Sodoyer J.-L。施瓦茨,l . Girin j . Klinkisch, c . Jutten“视听语言来源:分离新方法利用视听连贯性的言论刺激,”EURASIP应用信号处理》杂志上,卷2002,不。11日,第1173 - 1165页,2002年。视图:出版商的网站|谷歌学术搜索
11. l . e . Foucher Girin, g .冯”视听语音编码器:使用矢量量化利用音频/视频相关性,”《会议视听语言处理Terrigal,页67 - 71年,澳大利亚,1998年12月。视图:谷歌学术搜索
12. y y . j .黄z . Liu Wang Chen和大肠Wong“集成多通道特性的视频场景分类基础上,嗯,”IEEE学报》3日研讨会多媒体信号处理,页53-58,哥本哈根,丹麦,1999年9月。视图:谷歌学术搜索
13. 大肠Cosatto和惠普伯爵,“照片真实感的头部特写图像样本,”IEEE多媒体,卷2,不。3、152 - 163年,2000页。视图:出版商的网站|谷歌学术搜索
14. g . Potamianos c .洗鼻,s . Deligne”联合视听语音处理识别和增强《届听觉-视觉言语处理教程和研究车间Auditory-Visual ' 03)Saint-Jorioz,页95 - 104年,法国,2003年9月。视图:谷歌学术搜索
15. 答:罗斯和r·戈文达拉扬”功能融合使用手和脸生物识别技术水平,”生物技术对人类识别二世,学报学报》,页196 - 204,奥兰多,佛罗里达州,美国,2005年3月。视图:出版商的网站|谷歌学术搜索
16. a . Rogozan和p . Deleglise自适应融合自动语音识别的声学和视觉来源”言语交际,26卷,不。1 - 2、149 - 161年,1998页。视图:谷歌学术搜索
17. g . Potamianos洗鼻,肉汁,a Garg和a . w .高级”最新进展在视听语言的自动识别,”IEEE学报》,卷91,不。9日,第1326 - 1306页,2003年。视图:出版商的网站|谷歌学术搜索
18. js。李和c·h·公园,自适应决策融合视听语音识别。语音识别,2008年。
19. k . Nandakumar y, s . c . Dass和a . k . Jain“ratio-based生物识别评分融合可能性,”IEEE模式分析与机器智能,30卷,不。2、342 - 347年,2008页。视图:出版商的网站|谷歌学术搜索
20. Md。Rabiul伊斯兰教和Md。Fayzur拉赫曼”得分基于似然比融合视听说话人识别在具有挑战性的环境中,“国际期刊的计算机应用程序》第六卷,没有。7日,6尺11寸,2010页。视图:谷歌学术搜索
21. l . Girin g .冯和j·l·施瓦兹”的听觉和视觉信息融合的语音增强:元音过渡的初步研究”《IEEE国际会议音响、演讲和信号处理(ICASSP ' 98),第1008 - 1005页,1998年。视图:谷歌学术搜索
22. Doclo和m·穆南”言语失真的输出信噪比加权多道维纳滤波器,”IEEE信号处理信件,12卷,不。12日,第811 - 809页,2005年。视图:出版商的网站|谷歌学术搜索
23. n维纳和r·e·a·c·佩利傅里叶变换的复杂的领域美国国际扶轮,美国数学学会,普罗维登斯,1934年。
24. k . Kitayama, m . Goto k Itou, t .小林“演讲起动器:noise-robust端点检测通过使用暂停,”《Eurospeech,页1237 - 1240年,瑞士日内瓦,2003年。视图:谷歌学术搜索
25. 美国大肠Bou-Ghazale和k Assaleh”,一个健壮的端点检测的言论的嘈杂的环境中应用程序自动语音识别,”IEEE国际会议上声学学报》,演讲,和信号处理(ICASSP ' 02)4卷,第3811 - 3808页,2002年5月。视图:谷歌学术搜索
26. j . w . Picone”信号建模技术在语音识别中,“IEEE学报》,卷81,不。9日,第1247 - 1215页,1993年。视图:出版商的网站|谷歌学术搜索
27. l . p . Cordella·福贾c桑松,和m . Vento“实时text-independent说话人识别系统,”学报》第12届国际会议在图像分析和处理,页632 - 637,IEEE计算机协会出版社,曼图亚,意大利,2003年9月。视图:谷歌学术搜索
28. f·j·哈里斯,“使用windows离散傅里叶变换的谐波分析,“IEEE学报》,卷66,不。1,51 - 83,1978页。视图:出版商的网站|谷歌学术搜索
29. s . Milborrow与主动形状模型定位面部特征(论文),开普敦大学工学院,开普敦,南非,2007。
30. r .疱疹g . Verghese k Derpains, r . McCready”检测和跟踪的脸在现实环境中,”《IEEE国际研讨会上识别、分析和跟踪脸和姿态的实时系统科孚岛,页96 - 104年,希腊,1999。视图:谷歌学术搜索
31. j . Daugman“人脸检测:一项调查,”计算机视觉和图像理解,卷83,不。3、236 - 274年,2001页。视图:谷歌学术搜索
32. r·c·冈萨雷斯和r·e·伍兹数字图像处理,addison - wesley, 2002。
33. 答:罗斯和r·戈文达拉扬”功能融合使用手和脸生物识别技术水平,”生物技术对人类识别二世卷,5779学报学报,页196 - 204,奥兰多,佛罗里达州,美国,2005年3月。视图:出版商的网站|谷歌学术搜索
34. js。李和c·h·公园,语音识别技术和应用程序,I-Tech,维也纳,奥地利,2008年。
35. p . a . Devijver鲍姆的forward-backward算法重新审视,“模式识别的字母,3卷,不。6,369 - 373年,1985页。视图:谷歌学术搜索
36. n a·福克斯,b . a . O 'Mullane, r·b·赖利”有效:一个新的实用视听数据库,和比较结果,”音频和视频生物识别人的身份验证课堂讲稿在计算机科学,777 - 786年,2005页。视图:谷歌学术搜索

版权

版权©2014 Md。Rabiul伊斯兰教和Md。Abdus索班。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。