文摘

许多应用程序依赖于MEMS麦克风阵列定位声音来源前执行。这些应用程序不仅在实时约束下执行,还常常嵌入式低功耗设备上。这些环境成为挑战增加麦克风的数量或需要时动态响应。现场可编程门阵列(fpga)通常选择由于其灵活性和计算能力。这项工作计划指导的设计可重构声波束形成架构,这不仅能够准确地确定声音Direction-Of-Arrival (DoA),但也能满足最苛刻的应用程序而言,功率效率。设计考虑执行所需的操作声音位置进行了讨论和分析,以促进可重构的细化声波束形成架构。性能提出了策略和评估基于提出的体系结构的特点。这种低功耗架构相比,不同架构优先性能为了揭示不可避免的设计权衡。

1。介绍

音频流媒体应用程序涉及到多个信号处理操作中执行流的音频信号,通常,在资源和限制功率嵌入式设备。许多应用程序需求的并行处理多个输入的音频信号流同时要求实时响应。这是麦克风阵列的情况下,如今用在许多声学应用,如助听器(1),生物统计的系统(2- - - - - -4),或语音增强5,6]。许多这些声学应用需求的准确和快速定位声源在进行任何操作之前(7]。麦克风阵列用于声传感增加信噪比(信噪比)相结合的输入信号麦克风而转向麦克风的反应使用声波束形成技术在所需的方向。这样必须优化波束形成技术涉及计算密集型操作,特别是当面对实时约束。

fpga提供有价值的功能,这使其嵌入式声beamformers有趣的计算单位。首先,一个完整的体系结构实现了多传感器实时系统的定制。如嵌入式系统低延迟需求,无法实现在通用cpu(如微处理器)。其次,提供可重复编程的fpga电路可以变得非常能效由于高层建筑定制。尽管低端FPGA的可编程逻辑资源的数量在嵌入式系统中使用相对较低,流媒体应用,如声音定位器基于声波束形成可以很大程度上受益于FPGA的特性。实时行为和功率效率优先事项的声音定位器是基于声波束形成自低延迟要求估计声音Direction-of-Arrival (DoA),同时尽可能低功率消耗。

我们提出一些设计考虑和性能策略,充分利用当前FPGA的能力。一方面,设计考虑所需的适当满足声学应用程序的首要任务。建议的体系结构的功率效率是一个关键的特性。另一方面,表现策略提出了加速这种低功耗架构。每个性能策略首先考虑架构的特点之前,利用FPGA的特性。结果,可重构声波束形成架构就能一定数量级的速度更快。

提出工作扩展了架构提出了(8]。几个改进,比如性能策略加速提出低功耗架构,现在补充道。此外,选择体系结构的特点进行了详细描述声源定位和所需的操作时实施。主要的扩展和新提出的工作结果(我)一个完整的设计探索fpga架构使用时域延迟叠加波束形成声源定位技术用于识别更多的功耗合理的架构(2)策略提出了加速性能、功耗架构(3)提出了低功耗架构之间的详细比较和描述的高性能体系结构9,10)有助于识别时权衡目标功率效率

本文组织如下。相关文献提出了部分的概述2。详细描述阶段需要完成的部分3为了正确理解建筑的参数的影响。节4,该指标用于评价声波束形成的体系结构描述。低功耗可重构声波束形成的架构,它不仅嵌入一个时域延迟叠加beamformer也的所有操作解调脉冲密度调制(PDM)从麦克风信号,提出和分析了部分5。这部分是如何表现策略可以充分利用建筑的特点,加快本地化。最后一个比较实时架构提出了(9,10是在部分完成6为了强调现有的权衡,当目标功率效率。最后,一些结论是在部分7。

2。相关工作

对麦克风阵列的兴趣增加了在过去的十年中,部分由于微机电系统(MEMS)的最新进展,促进了集成智能手机的麦克风阵列(11)、平板电脑或语音助手,如亚马逊的Alexa [12]。数字输出格式像PDM或Inter-IC声音(我²年代)目前由MEMS麦克风提供方便fpga系统的接口。图1描述了麦克风阵列,相关的论文数量自1997年以来MEMS麦克风,麦克风阵列fpga。麦克风阵列相关出版物的数量显著增加在过去几十年(注意数量的对数尺度出版物)。有关系的演变MEMS技术和数字信号处理器(dsp)的替代fpga进行音频处理。大多数出版物相关MEMS麦克风或麦克风阵列主要讨论麦克风技术,总数的4%左右的出版物描述使用麦克风阵列fpga系统。我们相信,fpga在这个领域目前underexploited [13]。

fpga嵌入式系统提供足够的资源来完全嵌入声beamformers而提出功率效率(8- - - - - -10]。然而,这些特性可能不是直接获得在开发可重构声波束形成架构。相关文献缺乏的设计探索,很少有出版物讨论体系结构的参数(14,15)或探索完整的FPGA潜在(2,16]。

完全嵌入式架构、意外、罕见。可用的资源和可实现的性能,目前的fpga提供促进PDM解调所需的信号处理操作和波束形成技术。一个完全嵌入式beamforming-based声学系统的例子主要声源的定位提出了(17,18]。作者在17)提出一个fpga系统组成的一个麦克风33 MEMS麦克风组成的数组。他们的建筑完全嵌入PDM解调详细19)一起延迟叠加beamformer和均方根(RMS)声源定位检测器。

作者在20.]还完全嵌入beamforming-based声学系统由数字Wi-Fi-based MEMS麦克风阵列作为一个节点的无线传感器网络(WSN)森林砍伐检测。拟议的架构执行波束形成在PDM解调和过滤操作。而不是实现个人PDM解调器花为每个麦克风,作者提出的执行延迟叠加在PDM信号波束形成算法。的输出延迟叠加,这不再是一个比特PDM信号,由窗口过滤,在频域处理。作为能源消耗是一个重要的参数对于WSN-related应用程序,他们的体系结构使用一个低功耗基于flash的FPGA,它允许只消耗21.8千瓦/ 8-element麦克风阵列节点。大图的麦克风阵列,由16个麦克风,作者提出了在21]。他们的架构迁移到一个Xilinx FPGA Spartan-6由于额外的计算操作,导致61.71兆瓦的电力消耗。fpga的WSN节点的低功耗架构进行声源定位,然而,并不是一个例外。作者在8)提出一个多模架构上实现极低功耗基于flash的FPGA,实现功耗低作为52-element麦克风阵列提出了34个兆瓦(22]。在这些架构,波束形成战略PDM信号的保存面积和功耗,由于所需的过滤器的数量大幅减少。体系结构的权衡,比如实时功能,,然而,不讨论。

目前低端fpga实时提供足够的资源来执行复杂的波束形成算法涉及的麦克风。然而,架构的选择是密切相关的特点和约束目标应用程序。,提出了一种低功耗架构充分利用高效而且资源受限的fpga。

3所示。对时域声波束形成阶段的可重构体系结构

可重构声波束形成架构都有个共同的组件来执行信号处理操作需要使用声学定位声源与MEMS麦克风阵列波束形成技术。强制操作可以分为几个阶段嵌入获得数据的处理MEMS麦克风阵列FPGA。尽管麦克风阵列是一个外部传感组件从FPGA的角度来看,它的特性直接决定建筑的一些特征。尽管如此,可重构的实现声波束形成架构需求的研究和分析应用程序的参数的影响。例如,采样频率( )音频输入决定了滤波器的响应在PDM解调阶段。也会影响波束形成操作,影响了FPGA资源消耗,这可能是至关重要的,针对FPGA的嵌入式系统。

设计参数对实现的影响进行了分析。首先,需要在音频检索的操作阶段,波束形成操作和声音定位详细。其次,每个阶段的设计空间探索,以确定关键设计参数及其影响。这样的设计空间探索(DSE)一般足以获得功耗小等高性能的可重构体系结构的提出(10]。我们从一个简短的概述开始启用音频检索所需的阶段,波束形成,声音定位。

麦克风阵列:数字MEMS麦克风,特别是PDM MEMS的流行在构建麦克风阵列(13]。除了MEMS麦克风的多重优势,他们的一些特性,如低功耗模式,使他们有趣的候选人可重构声波束形成架构。一个通用的麦克风阵列用于举例说明了低功耗模式可以利用PDM MEMS麦克风构建数组支持麦克风数量可变的活跃。这样的灵活性要求额外的设计考虑。

过滤阶段:而不是集成PDM解调器的麦克风包,PDM MEMS麦克风输出了PDM的信号,需要在处理端解调。PDM解调需要额外计算,而不受欢迎地出现在相对较低的可用资源在fpga在嵌入式系统中,但它也提供了一个机会来构建完全定制的声学beamformer架构目标声音的位置。PDM解调也必须足够灵活以支持动态麦克风阵列,权力和资源。确定所需的滤波器响应的参数识别和评估多个设计使用。

波束形成阶段:相对较低的复杂性使延迟叠加技术最受欢迎的声波束形成技术。固有的并行性在大的麦克风阵列可以利用嵌入的这种类型的beamformer fpga。虽然延迟叠加在频域中的计算是在文献中提到的,其执行在时域是首选的,因为它避免了计算离散傅里叶变换,这是一个时间和resource-demanding计算。复杂的数据表示的数据在频域宽度要求高一些,甚至使用浮点表示,导致多个Multiply-ACCumulate (MACC)操作来执行所需的相移修正补偿路径长度的差异。相反,延迟叠加的计算在时域波束形成技术是减少存储的音频样本同步获取音频样本为特定的引导方向。FPGA内部的消耗内存,用于适当推迟音频样本在波束形成操作期间,可以通过一个明智的选择来优化设计参数。

功率级:声源的方向是通过测量声音相对力量(SRP) /水平方向。SRP获得的360°扫描周围的声场称为的概述极引导反应能力(P-SRP),它提供了关于数组的动力响应信息。P-SRP只是获得音频恢复和波束形成后操作。基于P-SRP DoA的准确性取决于引领方向的数量等参数。这个参数的影响评估内镜下动态慢动作影像。

参数导致的动态响应声音定位器,可以在运行时调整由于FPGA的灵活性,首先提出了在一起不可避免的权衡。

3.1。运行时动态响应参数

fpga呈现一个机会发展动态可重构声波束形成架构,self-adapt它们的配置来满足一定的标准。电力消费,例如,可以在运行时动态调整。这种活力得到利用以下结构参数在设计阶段。

活跃的麦克风:活跃的麦克风阵列的数量( )直接影响功耗、频率响应和性能。然而,架构必须设计来支持一个变量 。架构必须能够选择性地禁用的PDM MEMS麦克风阵列,例如,通过时钟信号,并能够禁用FPGA资源与残疾有关麦克风。下面的内镜下动态慢动作影像演示如何在运行时支持这失活,而不需要的部分重新配置FPGA。

角分辨率:正确的参数确定的能力确定DoA的角分辨率。引领方向的数量( )当计算P-SRP定义了可实现的角分辨率。类似于 ,这个参数影响频率响应、性能,间接能耗。考虑到这些特性,可以设计架构支持运行时变量角分辨率提出了(9,10]。

检测时间:感应时间( ),著名的射频应用程序的参数,接收方代表了时间监测周围的声场。这个参数是已知的对噪声增加鲁棒性(23),直接影响声源的正确检测概率。的价值是由数量决定的声功率级(样品处理 )。一个更高的需要检测和确定声音来源的方向在低吗信噪比条件。可重构声波束形成的体系结构可以支持一个变量适应在运行时基于连续数组的感应信噪比估计。虽然建议的体系结构必须支持一个变量感应时间在运行时,此参数的评价提出了工作的范围。

三个参数是用于提供动态可重构声波束形成的体系结构。注意,在运行时选择的值 , ,和导致多个权衡,因为已经总结表1。确切的值用于建筑的分析详细的表1。

3.2。阶段的描述

3.2.1之上。PDM MEMS麦克风阵列

麦克风的位置的数组,数组被称为几何,不仅影响系统的响应也部分中描述的参数3.1。此外,麦克风的分组子阵使一个变量和频率响应9,10]。这个话题很大程度上探索([24,25]或[26])和已经超出了本文的范围。麦克风阵列用于评估拟议的可重构体系结构实现所需的活力呈现以下特点:(我)PDM MEMS麦克风组成的数组(2)PDM MEMS麦克风支持低功耗模式(又名睡眠模式)(3)麦克风分组在子阵通过一个共同的时钟信号

参考麦克风阵列由52个数字PDM MEMS麦克风像描述的22]。四个同心子阵的阵列几何包含4、8、16、24 PDM MEMS麦克风安装在20厘米圆形印刷电路板,描绘在图2。每个同心子数组都有一个不同的半径和麦克风的数量来促进空间声学信息的捕获使用波束形成技术。PDM MEMS麦克风的选择也是动力等多种模式,麦克风的支持。大部分的PDM MEMS麦克风提供低功耗模式,大幅降低功耗时禁用麦克风的时钟信号。这个特性允许建设的麦克风阵列由多个子阵。这些麦克风阵列的响应可以动态地修改单独激活或子阵才会安静下来。这种分布式几何也可以适应建筑的反应不同的声音来源。例如,并不是所有的子阵需要主动探测到一个特定的声源。的价值直接对阵列的输出信噪比的影响以来,信噪比增加 。在这方面,计算需求大幅减少和传感器阵列更低功耗,如果只有几个子阵是活跃的。

描述了麦克风阵列的特性,比如麦克风的失活或其集团的子数组与动态响应导致麦克风阵列,理想的高性能和低功耗可重构体系结构。

3.2.2。过滤阶段

从PDM MEMS麦克风音频检索需要特定的操作。第一个在FPGA上执行的操作是以来PDM多路分解每一对麦克风有其PDM输出信号多路复用。PDM多路分解是一个强制性的操作来检索单个采样从每个麦克风音频数据。传入的数据从一个麦克风是在每一个采样时钟的优势。一个PDM分流块,位于FPGA,分工PDM样本。

(1)PDM解调器花。图3描述了PDM MEMS麦克风的内部组件。MEMS传感器转换输入声压级(SPL)电压。这个传感器是紧随其后的是一个阻抗变换器放大器,输出电压的稳定法微机电系统(ΣΔ)调制器。模拟信号数字化ADC和转换成一位PDM信号四阶ΣΔ调制器运行过采样率高。PDM是一种用于表示模拟信号调制在数字领域,相对密度的脉冲对应的模拟信号的振幅。的ΣΔ音频调制器减少了添加噪音频谱通过将它转移到更高的频率范围。这个不受欢迎的高频噪声需要删除时恢复原来的音频信号。

数字MEMS麦克风通常运行在一个时钟频率范围从1 MHz至3.072 MHz [27)或3.6 MHz (28]。这个范围内的是选择oversample音频信号,以便有足够的音频质量和生成PDM输出信号的ΣΔ调制器。PDM信号不仅需要过滤,以去除噪声也被downsampled将音频信号转换为脉码调制(PCM)格式。

几个例子的PDM解调器花在文学和提出纳入商业MEMS麦克风是描绘在图4。例如,PDM在数字解调器花4(一)和4 (b)方框图的吗我²年代MEMS麦克风(29日,30.),分别。的PDM解调器29日包含一个杀害多人者downsample PDM信号64倍,将信号转换为PCM。剩下的PCM信号中的高频组件是通过低通滤波器。的PDM解调器30.)是由两级联滤波器作为数字带通滤波器。第一个是杀害多人者滤波器,消除了高频噪声,其次是一个高通滤波器,消除了直流和低频组件。注意,大量毁灭因素和过滤器是固定的在这两种情况下的反应。这实际上减少了内镜下动态慢动作影像,因为它限制了操作目标声的频率范围的应用程序是一个固定的多个麦克风的采样频率 。例如,如果PDM解调器的固定因素致64像29日麦克风),必须定时 为所需的输出音频48 kHz。24 kHz的频率、音频信号可以恢复无混叠根据奈奎斯特定理。

PDM解调器花图4 (c)和4 (d)提出在[19)和(14),分别提出一连串的三种不同类型的过滤器过滤器链的方式,也就是说,中投公司大量毁灭过滤器后跟两个半分数段过滤器的杀害多人者因素2和最后阶段的低通滤波器。中投过滤器是用来转换PDM PCM格式的信号。这类线性相位FIR滤波器,由Hogenauer [31日,32),仅涉及添加或者删除工作。它包括三个阶段:集成阶段,杀害多人者或插入器阶段,梳部分。PDM输入样本是递归地添加在积分器阶段而被递归地减去微分延迟在梳理阶段。递归操作的数量积分器和梳子部分决定了滤波器的顺序( )。这个订单应该至少等于的顺序ΣΔ转换器的DAC麦克风。CIC滤波器后,信号增长( )大量毁灭因子(成正比 )和微分延迟( ),指数滤波器的顺序(32]。中投公司大量毁灭过滤器毁掉的信号,将PDM在PCM信号在同一时间。这种类型的过滤器的主要缺点是nonflat频率响应所需的音频频率范围。改善平坦的频率响应,CIC滤波器大量毁灭因素其次是补偿较低过滤器通常是一个更好的选择,提出了(19,32,33]。中投过滤器是紧随其后的是两个半分数段过滤器的顺序一大批杀害两倍。半分数段过滤器广泛应用于多重速率的信号处理应用程序。这些类型的过滤器,我们只有一半的输入信号的频带存在两个重要的特征。首先,通带和阻带波动必须相同。其次,passband-edge和stopband-edge频率从半分数段等距的频率 。因此,滤波器的系数是对称和每一秒系数为零。这两个特点可以节省资源的利用。最后一个组件是一个低通补偿数字滤波器去除高频噪声引入的ADC转换过程的麦克风。这个过滤器也可以用来补偿通频带下降通常由中投公司引入过滤器(32]。或者,也可另外执行将采样的信号被进一步减少的一个因素这样的提议在图4 (d)。

(2)提出了PDM解调器。分析过滤阶段,最初提议在10)和(8),是由单个或多个过滤器链执行PDM解调。每个过滤器链对应于多个级联过滤器执行PDM麦克风阵列输出信号的解调(图5),简化了PDM在数字解调器花4 (c)和4 (d)通过减少级联滤波器的数量。两个半分数段过滤器是移动平均滤波器所取代,这消除了直流中投的输出信号,提高信号的动态范围进入低通补偿数字滤波器。数字滤波器的截止频率的采样率 ,这是中投杀害多人者后获得的采样率过滤大量毁灭因素 。流性质的架构使得CIC滤波器的输出值的生成每一个时钟周期。由于大量毁灭的因素,只有每一个输出值输入的值传递到低通滤波器。因此,数字滤波器时钟周期来计算每个输入值。这需要设计低通滤波器以串行的方式减少资源消耗,和它的最大订单也由 :

在此,假定等于它的最大订单( )因为订单是直接关系到滤波器的响应的质量。整体可以表示的基础上,将采样率改变每个过滤器吗 在哪里是大量毁灭因素冷杉过滤器来获得所需的最小带宽以满足奈奎斯特定理为目标 。

过滤器链图中描述5支持动态架构,同时执行PDM解调。等参数的范围和依赖于PDM MEMS麦克风规范。例如,PDM MEMS麦克风ADMP521从模拟设备中使用(22在一个在一个指定范围从1.25 MHz,至3.072 MHz, (27),它的频率响应范围从100赫兹到16赫兹。声学应用程序的规范也确定 ,必须支持的频率范围的麦克风。这两个参数,和 ,确定的值因此,每个滤波器的信号速率。然而,并不是所有可能的配置支持当指定低通滤波器的特性。例如,通带和阻带、过渡带,通频带的信号的衰减程度限制了支持冷杉过滤器的配置。

(3)内镜下动态慢动作影像PDM解调器。基于前面的描述不同的过滤器的过滤器链,内镜下动态慢动作影像可以评估支持的配置。分析认为一个从13千赫至16.5千赫在125 Hz的步骤,和范围从1.25 MHz至3.072 MHz。所有可能的组合和被认为是在方程(2),基于获得了所有可能的值和 。低通滤波器的参数 ,这是由 ,和截止频率。每个可能的低通滤波器生成考虑3.5 kHz的过渡带和至少60 dB在阻带的衰减。如果高于最低订购量或过滤器 ,过滤器被丢弃。此外,最低订购量8被定义为的门槛 。被丢弃,因为一些值是一个质数下面是8。滤波器的低通FIR滤波器的参数是现实的约束。

图6描述的值支持配置详细的表2。每一个低通滤波器生成和评估在MATLAB 2016 b。的值提供信息的和由于方程(2)。更高的值允许更高的值 ,这可以大大减少计算复杂度的窄带低通滤波。然而,过高的值导致这样的低利率,尽管支持高阶低通滤波器,它不能满足低通滤波规范。注意可能的解决方案的数量增加时降低 。由于和范围的值38 - 154之间的不同。正如前面解释说,虽然许多值不能被视为因为它们是质数或分解的因素导致值低于8。因为更高的值导致低的值低 ,这些值不能满足规格的低通滤波器。高的值导致高阶低通FIR滤波器和低 。

提出了DSE表现过滤器链的PDM解调足够一般适用于任何PDM解调器花描绘在图4。它可以应用于识别大多数执行解决方案以及减少资源消耗,在下一节中讨论。

3.2.3。波束形成阶段

麦克风阵列可以集中一个特定方向由于波束形成技术。这些技术放大声音来自目标方向而压抑的声音来自其他方向。时域延迟叠加波束形成是波束形成技术,延误每个麦克风的输出信号通过一个特定的时间之前添加所有的输出信号。检测声音的来源是可能的,在循环中不断转向360°。带领的数量每360°方向扫描, ,是麦克风阵列的角分辨率。高角分辨率的需求不仅更大的执行时间按操舵回路,也更FPGA内存资源存储预先计算的延迟/取向。

波束形成阶段执行时域延迟叠加波束形成记忆,操作和由一个银行一个预先计算的表的延迟,和几级联的增加。虽然延迟叠加波束形成假设固定数量的麦克风( )和一个固定的几何,我们可伸缩的解决方案满足这些限制而提供一个灵活的几何(9]。图7展示了我们提出的波束形成阶段,基本上是由FPGA内存块(BRAM)以环缓冲区的方式,适当延迟过滤麦克风信号。延迟对于一个给定的麦克风是由其位置数组和重点方向。所有可能的延迟值( )每个麦克风传送方向是预先计算的,每方向分组,并存储在rom在编译时间。在执行期间,延迟的值每一个麦克风当指向某个方向从这个预先计算的表了。

波束形成的内存需求阶段获得了所有可能的位置过滤器组件之间的波束形成阶段的阶段。图8描述的潜在位置Delay-and-Sum-based beamformer。基于波束形成的内存需求阶段和如图9。这一数字描述了内存需求支持配置的过滤器链探索当假设冷杉过滤器的特点总结表2。所有的讨论特征过滤阶段描绘在图6为每个可能的位置进行Delay-and-Sum-based beamformer。第一个可能的位置是麦克风阵列和中投过滤器。波束形成的内存需求线性增加 。输入信号存储一位PDM信号,这在理论上应该减少对内存的需求。然而,由于高的值 ,成千上万的PDM信号需要存储/麦克风。的输出信号的位宽CIC滤波器的发展(32),这就增加了波束形成内存需求后,将波束形成阶段中投过滤器。然而,信号位宽度后之前的移动平均滤波和低通滤波器可以减少到32位。虽然较低的位宽不会导致明显的信号下降,32位被认为足以保证良好的信号质量为支持的所有可能的麦克风阵列配置。由于音频信号降尺度、低的值时获得波束形成阶段位于低通滤波器后,导致显著减少内存需求。波束形成的详细分析内存要求燃料追求最有效的体系结构。

图中所示的内存需求9已经计算了波束形成阶段旨在支持一个变量 。输入信号是分组后子数组结构。每一个麦克风与记忆有关,适当延迟特定音频流的数量吗 。每个延迟内存属于子数组具有相同的宽度和长度以支持所有可能的方向。定义的长度是最大延迟( )的子数组 ,这是由MEMS麦克风平面分布和 。所有的记忆与相同的子数组可以被禁用。因此,而不是实现一个简单的延迟叠加beamformer 52-element麦克风阵列,有四个延迟叠加在并行的子阵波束形成业务由4、8、16、24麦克风。它们的和为每个子数组操作首先在本地完成,然后在子阵。这种模块化波束形成的唯一限制是同步的输出以适当推迟。因此,最简单的解决方案是推迟所有的子串的最大延迟( )所有的子串。虽然有些子阵的输出已经适当推迟,额外的延迟,金额部分的图7是为每个子数组插入,以确保适当的延迟。这是通过使用每个子数组的有效输出信号波束形成,没有额外的资源成本。因此,只有延迟叠加波束成型模与一个活跃的子数组。一般beamformers设置为零,以避免任何负面影响的波束成型操作。

这种模块化方法的附带好处是减少内存消耗。图10显示内存储蓄支持配置的过滤器链探索在前一节中。由于每个子数组都有其循环缓冲区内存正确尺寸的最大样本延迟,部分未充分利用区域的记忆是显著降低。以下过滤器链参数评估,节省内存范围在19%和23%之间。节省内存的变化取决于波束形成阶段建筑的位置。因此,大多是常数时可能的内存节省21%左右的坐落与麦克风阵列波束形成阶段过滤器链。较高的变异发生在波束形成阶段位于过滤器链的结束,因为内存需求更敏感的小差异最大延迟值。例如,而在第一种情况下马克斯(Δ)发至1048年,其价值降低到16时,波束形成阶段坐落在过滤器链。波束形成阶段的模块化方法不仅增加架构的灵活性在运行时通过支持数量可变的麦克风也代表显著减少内存需求。

3.2.4。功率级

延迟叠加波束形成技术允许检索获得的相对声功率音频流为每一个指导方向。P-SRP每个指导方向的计算提供了动力响应信息的数组。力量值按操舵的方向积累获得的所有个人力量值测量特定时间需要检测和定位在低信噪比条件下声音来源。所有的信号在一个操舵回路符合P-SRP。中标识的山峰P-SRP指向潜在存在的声音来源。

图11显示了组件的功率级。一旦适当的延迟和过滤数据补充道,SRP可以获得一个特定的方向 。获得P-SRP转向循环后,允许声音来源的决心。估计声源位于所表现出的方向最大SRP的巅峰。

3.2.5。总结

提出的设计考虑和对建筑的影响总结表3。注意,然而,这样的设计考虑可以单独应用于每个阶段。

4所示。评估可重构声波束形成架构

设计参数的选择决定了可重构的特性声波束形成的体系结构。架构的速度,频率响应,声音定位的准确性的一些特性被用来评估和比较的设计。以下指标用来评估的可重构体系结构嵌入时域beamformers声音位置:(1)声学响应(一)频率响应(b)方向性(2)架构的特点(一)时间和性能(b)资源和能源消耗

4.1。评估声学响应

前两个指标是用来确定声音的质量定位和使用数组的特征选择的体系结构的总体响应。麦克风阵列的方向功率输出显示了定向反应体系结构的所有声音来源出现在声场。叶的极地地图可以用来估计附近的轴承声音来源nondiffuse声场条件。定义P-SRP允许多个声音来源的DoA估计不同声场条件下。估计的精度可以由以下质量指标。

频率响应:评估的频率响应不同的声源频率可重构声波束形成架构是必要的。麦克风阵列的光束模式可以表示成一个瀑布图。这样的图显示了声音定位器的输出功率四面八方对所有频率,演示了如何随多个方向和频率。瀑布图允许不同可重构声波的频率响应的评价对于某些光束方向波束形成的体系结构。瀑布图的分辨率可以通过减少步骤或通过增加频率增加的数量将角度。

方向性:P-SRP的叶是用来估计附近的轴承声音来源nondiffuse声场条件。主瓣的容量明确地指向特定轴承在考虑单个声源的情况决定了建筑的方向性( )。这个定义的在[最初提议34为宽带信号,作为质量指标体系结构的声音定位器自依赖于主瓣的形状和其明确地指向一个特定的方位的能力。是一个关键指标,当定位声音来源,因为它反映出有效的架构歧视一个声源的方向。方向性的定义提出了(34,35)是用于二维极坐标(22)如下: 在哪里 代表了麦克风阵列的输出功率当指向声源的方向和 是所有其他方向的平均输出功率。它可以表示为半径的圆的面积的比值是数组的最大功率和输出功率的总面积。因此,定义声音的质量定位器,可以用来指定某些阈值的架构。例如,如果D_P= 8,主瓣8倍低于单位圆和提供一个值得信赖的估计声源在半象限。

4.2。评价体系结构的特点

可重构的评价声波束形成架构必须涵盖不仅声音位置的质量,而且其他履约相关参数可实现的性能和功耗。

时间和性能分析:一个适当的时机分析有助于识别性能瓶颈和优化体系结构向更低的延迟。麦克风阵列所需的时间来计算P-SRP ( )可以被分解的执行时间确定建筑阶段。一个适当的实施阶段,尤其是他们的数据流,可以显著降低。例如,减少如果架构设计管道内每一阶段的操作引导方向,使重叠的执行架构的组件。详细分析每个组件的实现及其延迟提供了一个良好的洞察力在系统的速度。另一方面,可重构声波束形成的性能分析体系结构给出了一个设计参数有更高的性能影响。单位可以在不同层次上定义性能。每秒处理的音频样本反映出获得数据的可重用性。在波束形成操作期间,相同的音频样本可以用来计算SRP多个不同方向。另一个性能单元可能是每秒传送方向的数量(或/年代)。这种类型的单位更好地反映实现可重构声波束形成的性能架构和促进可重构声波束形成的比较结构的性能代价。

资源和能源消耗:进一步分析有关权力或资源消耗的架构需要满足架构的目标优先级。例如,声波束形成的流性质应用,连续变化的数据,需要大量的内存来存储中间结果的信号处理操作。在前一节中分析,分解子阵的波束形成阶段降低内存的消耗。然而,它也会影响电力消费和可能最终决定支持的FPGA。

在下一节中使用上述指标来评估一个低功耗架构。提出了不同的性能策略来增加此体系结构的性能。

5。低功耗可重构体系结构

目前低端fpga提供足够的资源来嵌入低功耗可重构声波束形成架构如所描述和分析了在这一节中。提出了架构,首先提出了(8),大大降低了资源消耗,使其适合低端基于flash的fpga。这种类型的fpga了功耗低至几十兆瓦但缺乏可用的资源。等资源的限制大大降低了可实现的性能架构的特点如果不能合理利用。在这里,不同的性能策略应用为了加速这种架构,对时间敏感的应用程序变得更有吸引力。

图12描述了主要部件的低功耗架构。输入率是由麦克风的时钟和对应 。架构设计在流媒体模式,保证每个组件都是后总是计算初始延迟。

采样过量PDM信号来自麦克风是多路复用/麦克风,要求PDM分流块分工PDM信号输入2 PDM单独的通道。因此,PDM流从每个麦克风阵列的适当延迟在这个阶段执行延迟叠加波束成型操作。波束形成阶段是紧随其后的是过滤阶段,删除高频噪声和输入信号downsampled检索音频信号。注意到一个过滤阶段只是由一个过滤器链中描述的部分3.2。2而不是过滤器链由于将波束形成阶段过滤器前阶段。SRP的传送方向计算的最后阶段。的叶P-SRP用于估计DoA的定位声音来源。

5.1。建筑性能探索

架构设计来满足电力不足声波束形成应用程序。多个性能策略可以应用于提高性能,同时保留电源效率。这种策略减少的时间影响的信号处理操作架构。

执行时间( )被定义为获得P-SRP所需的时间。每个驾驶方向涉及多个信号处理操作可以并行执行管线式。因此,《纽约时报》过滤器( ),beamform (t_波束形成),得到SRP (t_权力)与传感重叠时间( )。尽管大多数延迟的每个组件的设计时隐藏的流水线操作,仍有一些周期,定义为起始时间间隔(II),用于初始化组件。拟议的架构还要求额外的时间重置过滤器( )在每个方向的计算。相对较低的价值可以被忽视,因为只有几个时钟周期需要重置过滤器。详细的图13,在一定可以由 在哪里对应滤波器的二阶段(的总和 ),波束形成的第二阶段( ),和SRP的第二阶段( )。

低功耗架构提出了一些局限性在考虑性能的策略。例如,由于体系结构的特点,提出的策略在10)不能应用没有显著增加的资源消耗。一些新的性能策略提出克服这些局限性。

5.1.1。连续波束形成

计算P-SRP考虑的仅beamformer每传送方向。这样可以大大减少初始化架构不断beamforms获得数据。由于波束形成阶段主要由延迟记忆,所需的数据开始计算SRP的新取向已经存储在计算机前面的方向。因此,需要一个初始化开始,详细如图14。的价值就变成了 自必须在系统启动时只考虑。在这方面,就变成了 在哪里和是被忽视的。

使用这种策略的性能定义如下:

5.1.2中。并行连续时间多路复用

单一功能的时钟频率的增加提高性能的改善是不够的。不幸的是,简单的加速度通过增加的操作频率过滤阶段要求的prestorage样本获得的 。尽管这种存储可以发生在波束形成阶段,该组件会很大程度上增加其资源消耗来存储 样品/麦克风。由于过滤操作的性质,不同方向之间的切换要求存储的中间值存储在多个水龙头过滤器的结构。这种存储应该申请中级注册每个过滤和为每一个方向。这个资源开销的影响类似于复制的成本每个过滤器链/取向。这种策略会导致显著增加的资源消耗由于过滤阶段位于波束形成后阶段。解决方案是滤波器的复制阶段,同时提高其操作频率 。图15细节架构如何执行当多个过滤器链,多达 ,是可用的。两个时钟区域自定义过滤器链必须运行在更高的频率以检索beamformed波束形成阶段(图中的数据16)。麦克风阵列的输入数据进入波束形成阶段率。来处理在一个时钟周期并行取向 ,波束形成阶段所需的需要生成数据F_P: 在哪里N_FStages可用过滤器链的数量在过滤阶段和是beamformed值的数量的波束形成阶段访问每个时钟周期。的价值被定义为 与波束形成阶段的数量如果支持多个和可用的资源每个波束形成内存的内存端口。例如,双端口记忆允许2阅读/内存访问,导致2输出beamformed值每个时钟周期如果求和波束形成阶段的重复执行。使用双端口记忆相当于复制波束形成阶段组成的广泛的记忆。在这两种情况下,2 beamformed值可以从每个麦克风延迟加载内存。这个策略,然而,不利用剩余资源实例化多个波束形成阶段,因此,被认为是1广泛记忆以来这种策略被认为是波束形成阶段。

的价值不仅是由还取决于可用的资源和最大运行频率 。方向的数量可以并行计算时增加的操作频率过滤阶段定义支持过滤阶段的数量作为

因此,就变成了 在哪里过滤器链的支持数量取决于可用的资源。请注意,可以是有限的如果没有额外的好处的处理更高的价值 ,这是由目标声学应用程序。

这个策略,时间计算方向之一是减少的一个因素 : 和的值就变成了 在哪里和是被忽视的。关于实现的性能,

然而,成本是一个资源和能源消耗的增加。额外的资源致力于如果过滤器链或者额外的波束形成阶段受限于 ,为了充分并行计算。

总结了策略来提高性能表4。注意,它们的影响并不显著自低功耗架构的主要目标是减少资源消耗,因此,总体能耗。

5.2。实验结果

架构的设计参数下评估总结在表5。目标的变化和直接影响到波束形成阶段通过确定记忆的长度和过滤阶段,通过确定大量毁灭因素和冷杉过滤器的顺序。此外,所带来的影响 ,它在运行时改变由于子阵列分布,分析了。像之前的架构的评估,P-SRP从操舵回路获得由64方向。低功耗架构已被评估为Microsemi SmartFusion2 M2S025 FPGA。

5.2.1。频率响应

的频率响应麦克风阵列是由 。实验覆盖四个配置4、12、28、52个麦克风由活动子串的数量决定的。每个配置生成的瀑布图以分析频率响应而定位声音来源。瀑布图显示合并后的子序列的功率输出所有频率的四面八方。结果计算与单个声源放在180°。不同声源的频率100赫兹至15 kHz 100 Hz的步骤。所有的结果是每个频率归一化的。

图17描述了瀑布图,结合不同数量的子串。每个瀑布显示清晰独特的主瓣。然而,这叶占据了大多数,以防当子阵3和4也捕获声波。只有子数组1是活跃时,旁瓣影响找到主瓣的能力。子序列的频率响应提高时由于其频率响应叠加相结合。因此,子序列1和2的结合达到最小可检测频率为2.4 kHz,而子序列的组合1,2,3,所有子序列的组合达到2.2 kHz和1.8 kHz,分别。

5.2.2。方向性

独立的瀑布图只提供信息的频率响应,但不能被认为是一个度量的质量声源的位置。与瀑布,正确评估计算数组的反应的质量。评价了一个变量和 。低角分辨率导致低分辨率的瀑布图,但只有指标可以显示的影响。子数组的频率响应有很强的主瓣和变化,因此,在 。一个阈值8表明主瓣的表面对应于最大一个象限的一半。图18描述的进化为我们的频率范围时增加角分辨率和结合子序列。角分辨率决定了上界收敛于,这是定义在方程(3),恰逢取向的数量。注意到一个更高的角分辨率不改善只有内部的子数组是活跃。的价值 ,另一方面,确定速度收敛于其上限,基于声源的频率。因此,更高的价值增加降低声源频率。例如,在只使用子数组1的情况下,只在超出6.9 kHz频率显示了更好的结果。这个频率减少到大约1.7 kHz当所有麦克风用于波束形成。

这个体系结构的频率响应的评价得出结论:数组的角分辨率决定了质量的反应。这是反映在 ,这显然是有限时减少的方向。确定在什么声源频率达到一定的阈值。显然,更高的价值允许更好的成就以更低的频率。更多的取向和活跃的麦克风导致其他权衡。而角分辨率也会影响性能将决定功耗。

5.2.3。资源消耗

资源需求相对较低的小型和低功耗的低功耗架构允许使用基于flash的fpga。表6总结了资源消耗评估功耗小的体系结构。目标SmartFusion2 M2S025 FPGA提供了足够的资源分配架构的一个实例化时充分使用所有的52 MEMS麦克风阵列。更多的子序列主要是增加波束形成阶段的资源消耗。此外,最苛刻的资源是专用的内存块,实现入住率76.5%和90.3%的两种类型的内存资源uSRAM (RAM64x18)和LSRAM (RAM1K18),分别在这Microsemi FPGA家庭(36]。所有子序列的使用要求使用硬件描述语言(VHDL)属性分配的分配的不同延迟记忆这些内存资源之间的波束形成阶段,自《11.8工具不会自动分配波束形成记忆这些内存资源。事实上,延迟值与外子阵列组成的16个MEMS麦克风必须完全分配uSRAM块。逻辑资源达到最大的消费消费26%的可用的d型人字拖(DFFs)。在这方面,一些性能策略详细的部分5.1可以受益于使用剩余的逻辑资源。

5.2.4。动力分析

基于flash的fpga和Microsemi IGLOO2、PolarFire或SmartFusion2不仅提供静态功耗最低,只要求几十兆瓦,但也支持一个有趣的睡眠模式被称为快速冷冻。快速冷冻模式是一种低功耗的静态模式,可以保护同时减少的FPGA配置FPGA的权力画仅为1.92 mW IGLOO2和SmartFusion2 FPGA (37]。

表7总结了电力消耗。FPGA设计的功耗已经获得通过使用《SoC 11.8电动工具,获取动态和静态功耗。而静态功耗电力消耗的基础上,使用资源,确定动态功耗的计算使用资源和动力输入数据的静态功耗仍然主要是常数由于没有显著增加的消费增加麦克风的数量。增加动态功耗,相反,由于大量的数据必须存储和处理。可重构体系结构的整体功耗轮从17.8 mW 23.7 mW,代表相比显著减少架构的高性能体系结构(9,10),其功耗范围从122千瓦到138千瓦。此外,低功率消耗FPGA部分可能由于操作以相对较低的频率(2.08兆赫)。

功耗分析还必须包括麦克风阵列的功率消耗。对于这一分析,InvenSense ics - 41350 PDM MEMS麦克风(38)操作的标准模式视为麦克风组成的数组。功耗详细表7减少的绝大的MEMS麦克风阵列,通过禁用他们的生物钟。由于可重构体系结构的灵活性,可以在运行时改变。电流测量,MEMS麦克风用1.8 V,这代表了一种功耗/麦克风21.6μW - 777μ分别W的动态和静态麦克风。因此,MEMS麦克风的功耗几乎翻FPGA的能耗,当所有的麦克风是活跃的。

5.2.5。时间分析

表8总结了时间的参数分析。的价值等于174 ms的分析架构时不应用策略。注意,对应于22%左右切换时方向波束形成的初始化阶段。

应用性能策略时的计时结果提出了部分5.1总结在表9。后的第一个策略减少了初始化的影响方向之间的转换:

进一步加速只可能通过增加资源消耗而操作过滤阶段在更高的频率。基于剩余资源的SmartFusion2 M2S025, 6过滤器链可以并行分配由于资源消耗的过滤器链详细表6。这个建筑的最高运行频率范围从93.11 MHz到86.92 MHz要是内部子数组或所有子序列是活跃的,分别。通过操作在86.92 MHz,考虑广泛的记忆,可以获取到43过滤阶段。支持的过滤器链, ,从方程(11): 在哪里可用的资源是有限的。因此, 和过滤阶段需要至少在运作 如果所有的麦克风是活跃的。

. 5.2.6。性能分析

表10总结了可实现的性能基于性能的策略。注意,这里的低功耗架构分析达到一个更高的性能比的高性能体系结构(9,10当没有战略。的性能差异是由于配置低功耗架构在一个不同的评价目标 。两个的区别值会导致不同的和 ,这直接影响 。

低功耗架构的性能策略更有效。虽然初始化时间是减少不断获取数据时,它仍然高于[描述的高性能体系结构9,10),因为开销。

过去的战略提出了部分5.1充分利用有限的资源。可实现的性能是几个数量级低于[描述的高性能体系结构之一9,10]。这主要是因为两个因素。首先,低功耗架构的评估是以基于flash的FPGA的资源数量较低比用来评估的(9,10]。其次,低功耗架构提出了某些性能限制通过性能不能完全解决策略。

低功耗架构的评估和分析完成10),针对不同的应用需求和不同类型的fpga,说明体系结构及其性能策略可以应用于任何fpga架构。

5.3。总结

低功耗架构代表了另一种功耗时优先考虑的事情。由于它的低需求的资源,这个架构是基于flash的fpga上实现。这些fpga非常有效力量,但他们缺乏可用资源的数量。降低声音定位器的性能是功率效率所必须付出的代价。尽管几个策略可以加速结构的响应,有限的FPGA资源和建筑特点进一步加速。

6。可重构体系结构的比较

本节提出了一种高性能体系结构描述的比较(10),提出了低功耗架构详细的部分5。这两种架构评估Zynq-based平台(图19一个公平的比较。虽然架构都有不同的目标,他们的特点使他们都有效的解决方案对于大多数声学应用程序,只要他们不优先考虑性能没有功率效率。最后一个比较先进的相关架构也一度在本小节的末尾。

6.1。频率响应

高性能和低功耗架构使用正确评估的质量阵的反应。而不是评价一个声源在一个特定的方向,就像在部分完成5.2.1方向性是评估通过将一个声源64支持方向。所有方向性的平均值的95%置信区间计算的支持方向。图20(一个)描述了导致方向性建议的体系结构基于活动的子串。注意,当只有4内两个架构上都启用麦克风,8的预定义的阈值是通过所有的架构。启用了方向性增加情况下12个麦克风,达到8 3.1 kHz的价值。达到这个值在2.1 kHz和1.7 kHz, 28岁,52个麦克风都启用。一个也可以注意到,95%置信区间明显增加4 kHz, 6赫兹,和7 kHz,分别内4,12日和28日52麦克风。

高性能低功耗架构优于频率响应的体系结构,这是描绘在图20 (b)。低功耗冷杉过滤器的选择特征的分解PDM解调的影响较低功耗架构。一个高导致高阶低通滤波器,提高了频率响应。高性能体系结构会导致较低的分辨率在波束形成阶段的值输入数据率直接相关。因此,除了高的事实导致一个更好的频率响应,的方差体系结构的基于声源位置与声源频率增加,发射方向变得非常敏感。一种可能的解决方案是实现部分并行的低通滤波器,减少现有之间的依赖关系和 。它已经将增加高资源消耗的过滤阶段。

高效的体系结构具有较高的波束形成决议之前由于波束形成将采样输入数据。相反,高性能架构执行过滤后的波束形成阶段,其数据率较低。正确地确定DoA的能力增加对于这两个体系结构,如图20.。

6.2。资源消耗

低功耗架构提供了一个显著的低资源消耗与高性能架构。图21描绘了一个架构的资源消耗比较7020年针对Zynq FPGA。虽然低资源消耗的功耗架构允许使用一个更小的和更低的要求权力FPGA, 7020年Zynq FPGA技术的使用是为了比较这两种架构。不同类型的资源的数量要求的建议的体系结构是明显低于中给出的架构9,10]。低资源消耗是可能由于减少过滤器链的数量,导致一个更有效的波束形成操作资源。而每个麦克风在高性能体系结构有一个过滤器链,低功耗架构只需要一个。

这个比例下降到14.7%和32.8%的消费记录和查找表(附近地区),分别在低功耗架构。一个高效的内存分区是可能由于PDM信号的存储和附近地区,内存的使用。附近地区是约束资源的高性能体系结构,为专用的内部记忆的消费的增量(位)。在这方面,位低功耗架构的有限资源。由于附近地区的相对较低的消费,消费可以肯定减少位如果附近地区被用作内存在波束形成阶段。事实上,位只需要存储传入的样本外子数组的24个麦克风。可用的资源Zynq 7020支持多达11实例化的低功耗架构,代表能力计算输入信号同时来自500多个麦克风。

6.3。时间和性能

图22描绘了一个比较对于架构支持配置详细定义的部分3.2。2。没有应用性能的策略。注意到的值与大约33为每个女士支持不同配置。虽然同样为架构,定义波束形成阶段由于马克斯(不同的值Δ),这也反映在内存需求(图9)。

波束形成阶段的位置到架构不仅直接影响频率响应也决定了可实现的性能。性能的策略,提出了(10节),5.1,强调建筑的差异。图14例证的相关性beamformer位置从性能的角度来看。尽管架构支持相同的连续处理的性能策略,波束形成阶段的位置决定了组件的影响的增量 。而只在高性能架构增加的阶段 ,的过滤阶段和额外的时钟周期的重置过滤器也会增加在低功耗架构。

图23显示的值同样的设计空间应用并行连续时间时多路复用性能的策略。的变化基于反映出的依赖在低功耗架构。然而,这种依赖性的高性能体系结构中,消失只取决于 。这样的特点降低了依赖 ,对应于麦克风的时钟,在设计阶段的高性能架构。

表11总结了相关参数的计算性能架构的策略。表达的可实现的性能或/年代减少时增加在两个架构。注意,尽管低功耗架构能够运行在更高的频率和分配更多的情况下,可实现的性能的高性能体系结构优于低功耗架构尽管两个目标相同的FPGA。

6.4。总结

表12总结的比较提出了低功耗架构和相关的工作从时间和能耗的观点。低资源消耗的结果,不仅大的麦克风阵列可以更低功耗fpga并行处理,也可用于减少功耗。之间的主要区别在功耗分析架构和描述的一8]在麦克风的功耗是由于操作在不同的操作模式。低功耗架构提供了一个主要的减少功耗相比(描述的高性能体系结构10每麦克风),实现最低的功率比当所有的子序列是活跃的。尽管低功耗架构是低于高性能架构,time-per-microphone比率比其他相关解决方案。

7所示。结论

fpga嵌入式系统提供了足够的灵活性以支持动态声beamformers能够实现实时性能或功率效率。然而,只有通过设计考虑实现这些理想的特性和性能策略充分利用FPGA的特点。一方面,设计考虑导致妥协的选择体系结构的组件,分组分阶段进行,以获得所需的响应。波束形成阶段的位置,例如,影响不仅内存需求,而且性能,体系结构的频率响应和资源消耗。PDM解调的规范提出了对性能和资源消耗的影响有限。另一方面,绩效策略使更高的性能通过利用FPGA的资源。虽然这些性能强烈依赖于可重构体系结构策略,他们有能力将大大提高可重构声波束形成的性能架构。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是支持的欧洲区域发展基金(ERDF)和布鲁塞尔Region-Innoviris框架内的运营项目,2014 - 2020年通过ERDF ICITY-RDI.BRU - 2020项目。