SSL可以被视为一个方向分类任务基于CNN。通过扩张密度卷积与零内核,扩张CNN可以操作一个粗感受野和显示强劲的性能对于语音活动检测在嘈杂的环境中gydF4y2Ba 24gydF4y2Ba]。因此,扩张CNN被认为是在我们的网络编码健壮的两耳特性。提出了多尺度扩张CNN的示意图如图gydF4y2Ba 1gydF4y2Ba。扩张的两个例子内核,内核大小3所示图右上角的一面gydF4y2Ba 1gydF4y2Ba。零相邻细胞之间的细胞的数量取决于膨胀系数(DF)。黑块表示卷积内核的参数来激活相应的输入细胞,而白色块表示零输入细胞灭活。0两个激活细胞的数量是DF-1。gydF4y2Ba

在双耳语音源定位,CCF ILD反映时间相关和能源相关的物理信息,分别。在我们的方法中,分离的多尺度扩张CNN是为了更好的捕捉独立双耳的特征根据其物理含义。CCF包括两个并行的分支扩张CNN,其中一个栈两个扩张CNN层与DF = 2(即。,dilation-2 CNN)和其他分支栈两个扩张CNN层与DF = 5(即。,dilation-5 CNN)。这多尺度扩张CNN设计定位的双耳信号方位角额障碍的范围(−90°、90°)。以37另间隔5°的步骤为例,65个样本的时间延迟CCF正是DOAs的数量的两倍。考虑一个信号的DOA估计的最大互相关和周围的值的最大一个内核。在现实中,相邻DOAs内一些角距离也考虑。有鉴于此,我们隐式地包含5°和10°的宽容错误设置膨胀因素2和5。内核与扩张因素2和图5描述的公差范围(0°,10°)。这里,膨胀系数4不包括因为它可以通过移动内核与扩张因素2两次。 The other branch for ILD consists of only one layer of dilated CNN with dilation factor 2. All CNN layers employ 64 kernels to double expand frequency bands and are activated by rectified linear unit activation function and a dropout probability 0.5. The max-pooling layers are added after each dilation-2 CNN to reduce parameters but are excluded in dilation-5 CNN to preserve details. Finally, all interaural representations are fused in a fully connected layer with 128 neurons and followed by an output layer with Softmax activation function. The aforementioned parameters are sufficiently evaluated in experiments.

如前所述,相邻的另一些公差内可以被认为是正确的。此外,由于说话的间歇,weak-speech框架不可避免地由噪音。在本节中,我们提出一个semiadaptive训练多尺度熵扩张CNN。在大多数回归任务,Kullback-Leibler散度(KLD)被广泛用于测量两个概率分布之间的相似性。摘要概率分布是指真正的DOA和双耳语音源DOA估计本地化。的KLD可以制定为一笔“真相”熵和软crossentropy:gydF4y2Ba (4)gydF4y2Ba DgydF4y2Ba KgydF4y2Ba lgydF4y2Ba 问gydF4y2Ba |gydF4y2Ba |gydF4y2Ba pgydF4y2Ba =gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba 问gydF4y2Ba 我gydF4y2Ba ⋅gydF4y2Ba 日志gydF4y2Ba 问gydF4y2Ba 我gydF4y2Ba −gydF4y2Ba 问gydF4y2Ba 我gydF4y2Ba ⋅gydF4y2Ba 日志gydF4y2Ba pgydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba 问gydF4y2Ba 我gydF4y2Ba 和gydF4y2Ba pgydF4y2Ba 我gydF4y2Ba 表示真正的DOA和估计的概率gydF4y2Ba 我gydF4y2Ba thgydF4y2Ba 分别方位。无声的DOA概率或noise-dominant帧被认为是均匀分布gydF4y2Ba 我gydF4y2Ba 另。这种假设,“真相”KLD由统一替换熵熵。此外,一个学习的因素gydF4y2Ba λgydF4y2Ba 应用于平衡crossentropy统一熵:gydF4y2Ba (5)gydF4y2Ba JgydF4y2Ba =gydF4y2Ba −gydF4y2Ba 1gydF4y2Ba −gydF4y2Ba λgydF4y2Ba EgydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba 问gydF4y2Ba 我gydF4y2Ba 日志gydF4y2Ba pgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba λgydF4y2Ba EgydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba 1gydF4y2Ba 我gydF4y2Ba 日志gydF4y2Ba pgydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba EgydF4y2Ba ⋅gydF4y2Ba 意味着在训练样本平均。方向约束下gydF4y2Ba λgydF4y2Ba ≠gydF4y2Ba 1gydF4y2Ba ,网络能够调整参数在不同的声学条件下。ADADELTA [gydF4y2Ba 25gydF4y2Ba)算法用于最小化损失函数。训练过程会低停止如果没有错误出现在验证设置在最后3时代。方位概率gydF4y2Ba PgydF4y2Ba θgydF4y2Ba 收到的信号块组成的上下文框架是由平均概率框架水准仪方位。通过最大化目标DOA估计gydF4y2Ba PgydF4y2Ba θgydF4y2Ba 。gydF4y2Ba

该方法评估使用双耳设置模拟声学条件,包括信噪比(信噪比),噪声类型和混响时间。声学条件总结表gydF4y2Ba 1gydF4y2Ba。说来源之间的额平面定位−90°和90°的步骤5°,即。37岁的方向,他们的高度是一样的接收者。基于双耳信号配方,head-related脉冲响应(HRIR) KEMAR数据集(gydF4y2Ba 26gydF4y2Ba]从TIMIT卷积的演讲录音数据集[gydF4y2Ba 27gydF4y2Ba]。模拟噪声条件下,六种常见的噪音从noisex - 92数据集gydF4y2Ba 28gydF4y2Ba)正确地截断和添加到每个麦克风信号基于相同的信噪比。每个散射噪声的噪声处理总结所有的定向卷积噪声和HRIR 37所产生的噪声不相关的方向。模拟反射的条件,(10的外壳gydF4y2Ba ×gydF4y2Ba 6gydF4y2Ba ×gydF4y2Ba 3)m是模拟使用Roomsim工具箱(gydF4y2Ba 29日gydF4y2Ba)基于图像方法(gydF4y2Ba 30.gydF4y2Ba]。这个房间里的所有表面都同样混响。一个虚拟的头被Subject_021从CIPIC数据集gydF4y2Ba 31日gydF4y2Ba放置在中心位置。source-to-sensor距离是1.5米。这种回响的设置带来的双耳的房间脉冲响应卷积测试演讲录音来生成一个混响数据集。所有16岁双耳语音混合采样kHz和一个汉明窗结构转变的512个样本256个样本。一块信号包含20个上下文框架,相当于一段时间336毫秒。定位性能是衡量在定位精度方面,认为估计DOA是正确的如果DOA估计在5°远离真正的DOA。gydF4y2Ba

我们的网络是影响学习的适应性因素,这样的价值gydF4y2Ba λgydF4y2Ba 需要评估最大的适应性。注意,semiadaptive熵缺乏方向信息gydF4y2Ba λgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba ;因此,最大的价值gydF4y2Ba λgydF4y2Ba 设置为0.999。的最小值gydF4y2Ba λgydF4y2Ba 设置为0;因此,semiadaptive熵变得crossentropy。在实验中,我们的网络与不同的学习训练因素从0到0.999gydF4y2Ba λgydF4y2Ba 是由评估验证设置在噪声条件下的定位精度与−20 dB信噪比。图gydF4y2Ba 2(一个)gydF4y2Ba展示了定位性能不同gydF4y2Ba λgydF4y2Ba 。有三个局部极大值图gydF4y2Ba 2(一个)gydF4y2Ba与不同的学习因素gydF4y2Ba λgydF4y2Ba =gydF4y2Ba 0.5gydF4y2Ba ,gydF4y2Ba 0.9gydF4y2Ba 和gydF4y2Ba 0.99gydF4y2Ba ,分别。在ADADELTA [gydF4y2Ba 25gydF4y2Ba)更新算法,使用渐变积累学习速率是自动更新:gydF4y2Ba (6)gydF4y2Ba EgydF4y2Ba ΔgydF4y2Ba xgydF4y2Ba 2gydF4y2Ba tgydF4y2Ba =gydF4y2Ba ρgydF4y2Ba EgydF4y2Ba ΔgydF4y2Ba xgydF4y2Ba 2gydF4y2Ba tgydF4y2Ba −gydF4y2Ba 1gydF4y2Ba +gydF4y2Ba 1gydF4y2Ba −gydF4y2Ba ρgydF4y2Ba ΔgydF4y2Ba xgydF4y2Ba tgydF4y2Ba 2gydF4y2Ba 。gydF4y2Ba

制定我们的semiadaptive熵也看起来像这个渐变积累的形式。每一项的梯度semiadaptive熵可以分开计算,累计梯度gydF4y2Ba (7)gydF4y2Ba EgydF4y2Ba ggydF4y2Ba 2gydF4y2Ba tgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba −gydF4y2Ba λgydF4y2Ba ρgydF4y2Ba EgydF4y2Ba ggydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba tgydF4y2Ba −gydF4y2Ba 1gydF4y2Ba +gydF4y2Ba 1gydF4y2Ba −gydF4y2Ba λgydF4y2Ba 1gydF4y2Ba −gydF4y2Ba ρgydF4y2Ba ggydF4y2Ba 1gydF4y2Ba tgydF4y2Ba 2gydF4y2Ba +gydF4y2Ba λgydF4y2Ba ρgydF4y2Ba EgydF4y2Ba ggydF4y2Ba 2gydF4y2Ba 2gydF4y2Ba tgydF4y2Ba −gydF4y2Ba 1gydF4y2Ba +gydF4y2Ba λgydF4y2Ba 1gydF4y2Ba −gydF4y2Ba ρgydF4y2Ba ggydF4y2Ba 2gydF4y2Ba tgydF4y2Ba 2gydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba ggydF4y2Ba 1gydF4y2Ba tgydF4y2Ba 和gydF4y2Ba ggydF4y2Ba 2gydF4y2Ba tgydF4y2Ba 代表的梯度crossentropy和统一的熵,分别。在这里,gydF4y2Ba λgydF4y2Ba 也是一个hyperparameter作为动力因素控制学习速率。因此,该模型可以分为不同的局部极大值或鞍点在更新迭代。通过足够的验证gydF4y2Ba λgydF4y2Ba 与最佳性能设置为0.9,表明在嘈杂的环境中相对较高的适应性的网络。DOA概率-10分贝的双耳信号信噪比条件如图gydF4y2Ba 2 (b)gydF4y2Ba。信号的DOA 60°,但它被错误的DOA 65°时,网络是训练有素的gydF4y2Ba λgydF4y2Ba = 0。红色曲线显示了错误的DOA概率降低训练网络时gydF4y2Ba λgydF4y2Ba = 0.9。此外,由于统一的熵的影响,远离真正的DOA方位角》可能有非零概率。这是证明semiadaptive熵能有效提高网络的适应性。gydF4y2Ba

我们的方法是与两个基线网络方法相比,即。多层感知器(MLP) (gydF4y2Ba 8gydF4y2Ba和频率相关款gydF4y2Ba 19gydF4y2Ba),网络体系结构也消融研究评估:gydF4y2Ba

常规CNN:常规CNN是用于我们的架构,而不是扩张CNNgydF4y2Ba

这些方法的定位精度如表所示gydF4y2Ba 2gydF4y2Ba(在吵闹的场景)和表gydF4y2Ba 3gydF4y2Ba(噪声和混响场景)。在表gydF4y2Ba 3gydF4y2Ba,象征“- / -”意味着没有加性噪声。在嘈杂的情况下,MLP优于低信噪比条件下的频率相关款,这是因为ITD和ILD估计在整个信号块而不是短帧。同款的结果相比,CNN-based方法精度平均提高2%到6%。原因在于,相邻频带可以提供相互的信息而不是独立的频带。在混响情况下,dilation-5 CNN优于其他人因为远程信息同样重要的互信息交叉分解后,远程信息包括两耳的功能直接路径,早期和晚期混响。相对较大的扩张CNN接受字段可以捕获更多的远程信息。由于不同扩张内核的互补,多尺度扩张CNN训练gydF4y2Ba λgydF4y2Ba =gydF4y2Ba 0.9gydF4y2Ba 表现良好在嘈杂的环境但略逊于dilation-5 CNN回响的条件。有意义的融合多尺度扩张CNN学习自动之间的权衡小型和大型扩张内核噪声和混响条件。此外,我们也展示semiadaptive熵的重要性。与crossentropy相比,网络训练与semiadaptive熵,从而提高定位精度平均近10%强烈喧闹的场景和4.62%在回响的场景。gydF4y2Ba