文摘

识别信号是至关重要的对于理解日益拥挤的无线频谱空间非合作的通信。传统的阈值或模式实现的解决方案是劳动密集型和容易出错。因此,从业者开始深度学习应用于自动调制分类(AMC)。然而,最近提出了神经网络的识别精度和鲁棒性的提议仍不满意,特别是当信噪比(信噪比)很低。在此背景下,本文提出一种混合神经网络模型,称为MCBL卷积神经网络相结合,双向多空时间记忆,利用各自的能力和注意力机制提取空间,时间,和突出功能嵌入到信号样本。制定AMC的问题后,我们三个模块的混合动态神经网络详细。评估我们的建议的性能,10个最先进的神经网络(包括两个最新模型)选为基准的比较实验开放的射频(RF)数据集。结果表明MCBL的识别精度可以达到93%这款测试模型中是最高的。同时,计算效率和鲁棒性MCBL比现有的建议。

1。介绍

无线网络正在经历戏剧性发展。随着数量的增加和无线设备的多样性,其频谱需求增长得(1]。同时,谱不完全利用由于缺乏知识关于频谱使用。因此,监测和了解频谱资源的使用发挥重要作用在改善和规范使用宝贵的无线电频谱。为了实现这一目标,实现高效的调制识别对无线信号检测和利用至关重要。然而,调制识别在这样一个复杂的无线系统需要使用分布式传感在宽的频率范围内,导致大量的洪水的光谱数据。从大量数据中提取有意义的调制信息需要更高级的算法。这为新的创新铺平了道路谱访问计划和开发新颖的识别机制的广播环境(2]。因此,自动调制分类(AMC)基于机器学习,特别是深入学习,一直是无线通信的从业者的关注。

AMC理解的信号传播中扮演着一个关键的角色在一个感兴趣的区域在非合作通信(3]。传统的调制识别算法,包括最大似然假设[4)和统计模式识别、劳动密集型的特征提取过程,识别精度严重依赖于信号的先验知识(5]。此外,这两种方法的准确性和鲁棒性时可以极低的或非代表性特性采用有限认可。

使一个完全自动特征提取,基于几个深层神经网络——(款)最近提出了建议,包括反向传播(BP)神经网络(6],卷积神经网络(CNN) [7),长期短期记忆(LSTM) [8],CGDNet [9],ECNN [10]。然而,大量的实验在公开数据集(11)表明,现有方案仍不满意的识别精度(第三节),因为他们不能完全捕捉信号的时空特征。此外,在低信噪比(信噪比),这些提案的识别准确性可能极低。

在这样的背景下,我们引入一个健壮的和有成本效益的混合动态神经网络结构动力的架构提出了(12]。模型被称为多级注意CNN Bi-LSTM (MCBL)相结合CNN和Bi-LSTM利用各自在空间和时间自动特征提取能力。此外,为了提高模型的效率,一个多层次的注意机制集成到神经网络动态提取和注意特征包括在输入信号样本和特征提取的神经网络。我们的主要贡献有三个方面:(1)混合动态神经网络相结合的CNN, Bi-LSTM和注意力机制提出了进行“预付款采购保证”(2)全球注意力机制是综合识别模型来提高培训效率,防止过度拟合模型(3)广泛进行的实验是在公开数据集比较我们的建议与其他10神经网络包括两个最新的深度学习模型,可以用于相同的目的。结果表明,我们建议在识别精度优于其他同行

本文的组织结构如下的提示。第二部分总结了相关工作。第三部分介绍了框架和算法的设计细节。第四部分介绍了实验设置和分析结果。第五部分简要总结这项工作。

2。相关工作

2.1。传统ML的调制识别方法

先前的研究工作在相关无线通信调制识别主要是基于通信的信号处理工具(13),例如周期平稳特性检测14),有时结合传统的机器学习技术(如决策树15),支持向量机(SVM) [16),和朴素贝叶斯17])。事实证明,这些专业解决方案的设计是非常耗时的,因为他们通常依靠人工提取专家特性和需要大量的领域知识。

2.2。深度学习的调制识别

出于深度学习的非凡成功,尤其是卷积神经网络(CNN),图像识别,语音识别,机器翻译,其他方面也取得了很大的进步。无线通信工程师最近使用类似的方法来提高技术在调制识别任务的状态。的先驱之一的域名是奥谢et al。3),证明了CNN是谁训练同相的和正交相位(智商)数据在时域明显优于传统的AMC方法。除此之外,他们实现了一个CNN-based调制识别框架,名叫VT-CNN2,包含两个卷积层和两层致密和测试在一个公开的数据集18]。塔拉等人提出了一个模型叫做CLDNN CNN的优点相结合,LSTM,提高识别精度(款19]。除了CNN-based模型、LSTM架构time-correlated振幅和相位信息可以实现较高的分类精度7]。Njoku等人提出了一个CGDNet浅卷积网络,组成的一个封闭的循环单元和一个深层神经网络可以产生较低的计算复杂度,达到高精度DeepSig数据集(9]。金等人扩展输入大小 通过复制和连接数据在相反的顺序提高分类精度10]。王等人介绍了一个基于联合学习——(FL) AMC (FedeAMC)的优点是低风险的数据泄漏没有切断性能损失。结果表明,FedeAMC的差距和CentAMC小于2%20.]。除此之外,福等人提出了一个轻量级的AMC模块称为DecentAMC使用模型聚合和轻量级的设计。仿真结果表明,该DecentAMC大大降低模型的存储和计算能力需求(21]。

3所示。系统模型

本部分首先介绍了AMC问题;然后,我们介绍了MCBL模型的总体结构;后来,模型中的三个模块分别详细。

3.1。问题陈述和基本思想

不同调制模式之间的本质区别在于他们的行动模式为基带信号振幅、相位和频率,将反映调制信号和派生功能(22,23]。因此,特征提取一直是AMC的核心。传统的基于模式识别的特征提取是劳动密集型,耗时,domain-knowledge-dependent [24]。最近,DNN-based AMC一直流行的自动特征提取由于其独特的功能正如上面提到的,但其准确性和延迟仍不满意当申请复杂和多样化的调制模式(25,26]。促进识别精度和计算效率,本文开发一个框架利用CNN和Bi-LSTM pattern-digger和多级注意选择不同的调制模式分类的显著特征。

同相的和正交相位(智商)数据的调制信号是一个二维图像,采用和现有的努力一样输入数据(27]。现有的努力通常分类不同的调制模式通过提取空间或时间特性从输入智商数据。然而,实验结果表明,单纯依赖的特性在一个域无法实现高精度(参见第三节)。这促使我们发展我们的混合款框架,称为MCBL。

3.2。模型架构

MCBL网络包含三个模块:①CNN-based空间特征提取(CSFE)模块,②Bi-LSTM-based时态特征提取(BTFE)模块,和③多级引起特征提取(MSFE)模块。MCBL网络的总体结构如图1。

灵感来自ECNN [10),在训练模块之前,整个数据集是扩展 通过复制数据和连接在相反的顺序来提高识别精度:

然后,数据被分为两个子集: 在哪里和的标签吗 - - - - - -th训练样本和 - - - - - -th测试样品 ,分别为,和分别训练和测试样本的数量。

基于一组训练样本 ,CSFE模块构建几个空间特征图。然后,这些特征图谱被视为输入BTFE模块的时序特征提取。后来,MSFE权重时间特性和输入样本确定的显著特征。

MCBL算法训练以监督的方式。在训练阶段,每个训练样本及其真正的标签放到网络中向前传播,并通过反向传播参数更新。在测试阶段, 输入到网络来获取他们的预测价值 。最后,预测标签与真正的标签来获取识别精度。在培训过程中每一步的目标可以表示为

在哪里损失函数,代表MCBL模型的功能。

3.3。CSFE模块

CNN模型设计在CSFE模块实现自动从输入空间特征提取28]。每个输入数据样本被视为一个二维图像。CNN模型包含三个卷积层:Conv1, Conv2, Conv3, ReLU函数作为单位激活函数。CSFE模块的结构如图2。

卷积在Conv1内核的数量,Conv2, Conv3是16。每个卷积核的大小(1,3),(1、5),和(7)。的大小特征CSFE模块得到的地图 ,在这和是地图的尺寸特性,然后呢通道的数量。

采用补零的方法来填补零数据边缘在每个卷积之前,为了确保数据维度匹配。更重要的是,辍学的方法是利用网络,防止过度拟合。进入Bi-LSTM之前,我们进行了量纲变换的数据,以确保它符合BTFE模型的尺寸要求。新功能维度( , )。

3.4。BTFE模块

款模型嵌入到一个信号样本提取时间特性是Bi-LSTM因为它可以捕获时间序列数据的总体信息比LSTM [29日]。的结构采用Bi-LSTM网络如图3。

如图3,每个特性映射提取CSFE模块转换成时间系列,每个系列的长度 。Bi-LSTM是一种特殊类别的LSTM处理序列数据(30.,31日]。受益于一个特定LSTM记忆细胞机制,Bi-LSTM有效地解决了传统RNN的爆炸和梯度消失问题在训练过程。特别是Bi-LSTM LSTM网络结合,从一开始的序列和LSTM网络向相反的方向发展。这样,以前和未来的信息可以利用在输出层(32]。

BTFE模块的输出 是序列提取的时间特性。因为Bi-LSTM层处理的输出向量通过连接LSTM向前和向后LSTM BTFE模块的输出尺寸 ,在这是输出尺寸LSTM向前发展。

3.5。MSFE模块

注意机制(33)选择关注输入相关内容的一部分,忽略其他内容。一方面,它可以使结果更准确,另一方面,它可以解决计算复杂度高的问题。现在,注意广泛用于自然语言生成(NLG),对话系统,多媒体描述(MD)、文本分类、推荐系统、情绪分析,和其他任务34,35]。MCBL,多层次的注意机制包括提取显著特征,它包含两个部分,即。、注意块和全球关注块。

时间序列特征和输入数据采用计算元素的产品关注的因素。对于一幅图像,注意机制是使网络注意占主导地位的人物,如像素的对比颜色,强度,和纹理36]。这里信号系列考虑,突出人物指的是连续信号数据之间的对比,即。,变化趋势中嵌入数据。为一个特定的数据片段,概率越高,它包含识别样本的调制类型的特性(显著特征),更大的注意力因素(在0和1之间)。因此,关注块可以动态地关注突出的信息而忽略不相关的背景信息。(1)注意块:时间序列的特性投入致密层,然后乘以层,如图4(一)。让是注意因素,这表明当前功能的重要性。然后,我们有 在哪里代表了ReLU函数,密集的模块的权向量,代表注意模块的抵消,计时功能序列由BTFE处理模块。

这种方法使用和进行元素的产品。因此,它可以重所有输入计时功能,注意突出时间序列特征提取的BTFE动态模块。(2)全球关注的块:输入数据放到一个致密层和两层卷积(Conv4 Conv5)。卷积核的数量Conv4 Conv5 16 - 1,分别。的大小(1,3)卷积内核。Conv5采用压缩渠道的数量;因此,输出结果可以匹配的维数 。公式计算全球关注的因素是 在哪里是ReLU函数,和代表的权重向量Conv4 Conv5,是全球关注的块的偏移量,指的是全球关注的因素 , 关注的输出块,特征选择后的特征在时间吗整个调制信号序列。通过计算元素产品与全球关注的因素和 ,网络可以动态地选择特征从全球视角。除了,因为无关紧要的特征图谱的重量是0,地图删除大量的特性,该方法可以有效地解决过度拟合问题造成的数据样本的背景噪音。

3.6。算法描述

算法的伪代码1描述了MCBL模型算法的方式。需要调制信号数据作为输入,输出训练MCBL模型和识别结果。算法1包含三部分,即。,data preprocessing shown from steps 1 to 5, model training shown from steps 6 to 21, and model testing from steps 22 to 25. In part 1, each inputted signal series is reordered in the reverse order in steps 2-4, and then the reversed series is concatenated at the tail of the original series in step 5. In part 2, the MCBL model is trained utilizing the training set until the loss function is lower than the thresholds. The weights update process in conducted from steps 18 to 20. In part 3, the testing data is feed into the trained MCBL model to evaluate its recognition performance.

4所示。实验和结果分析

介绍采用数据集后,我们展示的实验设置比较MCBL模型和其他10款车型。然后,结果分析了不同的参数设置。

4.1。数据集

所有实验进行RML2016.10b,又名。,“DeepSig” dataset, which was collected and opened to the public by DeepSig [11]。数据集包含10调制模式:8数字调节(BPSK, QPSK, 8相移键控,16 qam, 64 qam, GFSK, CPFSK,和PAM4)和2模拟调节(WB-FM和AM-DSB)。请注意,在样本数据的生成,传输环境和设备的影响纳入考虑。每个数据样本与信噪比的值范围从-20 dB 18分贝,间隔2 dB。实时数据集模拟无线电通信信号使用不同的调节在不同的信噪比。传输的数据包括语音和文本格式。数字调制,一块中使用随机函数发生器设备计算。因此,GNU通道模型块用于生成数据集,和128年样本窗口技术是用来切成时间序列。在数据采集中,许多错误影响被添加在信道环境中,如信道脉冲响应的时变多径衰落,随机漫步漂流载频振荡器和时钟样品时间,和加性高斯白噪声。

数据集包含1200000个样本数据,每个调制类型在一个信噪比下的数量是6000。每个数据样本包含了同相的数据和正交相位数据的大小2128年。不同信噪比下10调制信号的星座图如图所示5。70%的数据采用训练,剩下的30%是用于测试。

4.2。实验设置

为了提高培训效率,采用动态学习速率。当val_loss不减少30时代内,或学习速率降低到最低0.000001学习速率,早期训练过程将终止。培训时期的数量设置为2000,和批处理大小是1024。为了防止过度拟合,每一层采用辍学技术,和辍学率设置为0.6。

MCBL从头训练与随机初始化权重(亚当)优化器使用自适应的时刻。模型训练与分类crossentropy损失函数。获得最好的训练参数模型,采用蛮力技术。因此,我们应用模型几次,直到获得最佳性能的最佳参数。中使用的特定参数模型和输出音量的每一层如表所示1。

4.3。比较基准

10款模型选为比较基准,即。,AlexNet [37],CLDNN [19],VT_CNN2 [18],LSTM [38],ResNet [39],VGG [40],CNN_LSTM [41),和两个最新款ECNN [10]和CGDNet [9]。所有这些算法使用相同的数据集没有任何预处理。(1)传统CNN结构:AlexNet、ResNet VGG, VT_CNN2。这些模型包含5、18、19和2卷积层,分别提取特征和密度两个完全连接层。内核大小(1,3),(1,3),(7)和(1、5)。为了防止过度拟合模型,采用辍学技术在每一层。此外,ReLU激活函数(2)混合神经网络:CGDNet [9],ECNN [10],CNN_LSTM [41],CLDNN [19]。CGDNet包含2卷积层、格勒乌和款,提高识别的准确性和减少计算时间,其内核大小(1,6),及其ReLU激活函数。此外,ECNN包含3种网络块提取特征为提高精度。CNN_LSTM包含3卷积层提取空间特征和LSTM层提取时间特性。CLDNN由CNN和辍学层三层提取功能,防止过度拟合:LSTM网络250层和256户款。卷积CLDNN利用50层过滤器的大小 和ReLU激活功能(3)款:这款包含3致密层的大小256,64,和32,每一层都是紧随其后的是辍学层。退学率是0.5。致密层采用ReLU作为激活函数

MCBL和所有基线模型训练在同一平台配备英特尔(R)的核心(TM) i5 - 8300 h CPU @ 2.30 ghz, 8 gb DDR4 RAM和NVIDIA GeForce 1060 8 gb,编程环境是Python 3.7, 2.7 Tensorflow, PyCharm,公平的比较。

4.4。对比指标

有4个比较常用的基准精度,精度,回忆,和F1-score分别。multiclassification问题,区分一个特定的类和其他类可以被视为一个两级分类的问题。所有这些样本属于这个类被称为积极的,和其他被称为负样本。通过这种方式,得到分类结果后,我们有4类:真阳性(TP)例子正确标记为阳性;假阳性(FP)是指错误地标记为积极的负面例子;真正的底片(TN)对应于底片正确地贴上消极;和假阴性(FN)指正面例子错误标记为负(42]。精度的计算公式,精度,召回,F1-score定义如下。

这四类指标计算后,他们的平均价值的度量值采用采用款模型。例如,模型的准确性 ,在哪里类的数量,的准确性吗 - - - - - -类。

4.5。识别性能分析

MCBL模型的比较结果和10基准不同信噪比的值在图所示6。从图6,我们可以看到MCBL达到最高的整体识别精度为93%在整个信噪比范围。同时,对于每个识别方法,总的趋势是,随着信噪比的增加价值,识别精度也在不断增加。此外,MCBL总是表现最好的在所有识别模型。这是由于这一事实MCBL比其他模型更有效提取和选择时间,空间,和突出的特性,大大提高了识别精度。注意的准确性ECNN接近MCBL当信噪比大于0分贝。然而,当信噪比是8分贝至2 dB, MCBL模型的精度比ECNN模型高出近10%。当信噪比是4 dB, MCBL仍然可以达到83.32%的识别率,是ECNN高出5%,表明MCBL比其他方法更健壮的低信噪比下的值。当信噪比低于6 dB,不同调制信号之间的差异是含糊不清,从而增加的难度区分它们。不同款模型提取的特性往往是不准确的,导致识别精度较低。它还可以看到从图5所有调制信号的星座图重叠低信噪比下,不能区分。

表2显示了MCBL和5其他模型的比较结果在精度,召回,F1-score。

从表可以看出2精密,召回,F1-score MCBL高于其他深度学习模型包括CGDNet最新的模型。这表明MCBL的分类和预测能力比其他普通款模型。

从图可以看出7MCBL的数字8相移键控调制,识别率BPSK, CPFSK, GFSK PAM4, QPSK接近100%,当信噪比大于0。此外,识别QAM16和QAM64 91.10%和83.90%,分别。因此,可以说MCBL可以准确地提取并选择时间,空间和特征嵌入在输入数据。它还可以看到从图7WBFM的识别率较低。这是因为各种模拟调制之间的差异并不反映在振幅和相位。因此,AM-DSB的星座和WBFM几乎相同的图5。因此,一些WBFM列为AM-DSB样品是错误的。每个调制方式的识别精度信噪比的增加而增加。这是因为信噪比越低,噪音信号的比例越大,越不规则的调制信号。因此,信噪比的值越低,越难识别的信号。

4.6。计算复杂度

神经网络的复杂性分为时间复杂性和空间复杂性(9]。时间复杂度一般以浮点运算(失败),这是一个指示器,常被用来衡量一个算法或模型的复杂性。空间复杂度是指网络的参数的数量或能力。参数的数量和时间复杂性(失败)总结在表3。我们可以看到,MCBL模型中参数的数量比那些CGDNet略大,VGG, ResNet模型。然而,时间复杂度MCBL低于这三个模型,表明空间,时间,可以更有效地提取数据的特征MCBL。尽管MCBL没有实现整体空间复杂度最低,最好达到精度模型相比在所有。其性能进一步可以归因于使用BTFE模型和MSFE模型,相比VGG只使用卷积层。这不仅导致大量的可训练的参数也降低时间复杂度。

4.7。混淆矩阵

MCBL的混淆矩阵模型8分贝,4 dB 2 dB, 18 dB 2 dB, 6 dB,信噪比图所示8。混淆矩阵,对角的颜色越深,越准确的分类。信噪比是8分贝时,彩色网格分布在混淆矩阵,这表明识别精度较低。另外,大多数WBFM样品mi-classified AM-DSB。2 dB信噪比下,混淆矩阵对角线的颜色比这更深的混淆矩阵下8分贝;然而,QAM16和QAM64不能区分。信噪比值高于0分贝时,可以观察到更高精度的混淆矩阵图8。

4.8。模块和辍学率的影响

评估每个模块的性能,我们实验MCBL模型和没有每个模块,分别。结果如图所示9。图中可以看到9的识别精度MCBL没有CSFE BTFE和MSFE模块(Without_CSFE, Without_BTFE Without_MSFE,图9分别)仅为60%,83%,和85%,当信噪比18分贝。Moverover,识别精度降低,当信噪比很低。它可以从图进行分析9每个模块有助于整体精度的提高,和CSFE模块对模型有最大的影响。

辍学的技术采用MCBL在培训过程中,防止过度拟合现象。MCBL模型的识别精度与不同的辍学率表所示4。从表可以看出4增加的辍学率,识别准确性增加然后减少。避免过度拟合能力带来的增加的退出机制。然而,当辍学过高,过多的神经元模型被忽视的,和一个underfitting将发生。一般来说,最好的辍学率是0.6。

5。结论

混合动态神经网络模型,称为多级注意CNN Bi-LSTM (MCBL),提出了实现自动调制识别。MCBL包含三个模块,即。,CSFE module, BTFE module, and MSFE module to extract and select the spatial, temporal, and salient features of the modulated signals effectively. To evaluate the performance of MCBL network, 10 DNN networks are adopted for the comparison experiments on an open RF dataset. Experimental results have shown that MCBL’s recognition accuracy is higher than state-of-the-art proposals. Moreover, the efficiency and robustness of MCBL are better than other models.

数据可用性

数据下载https://www.deepsig.ai/datasets。数据集的名字是RadioML.2016.10b。

的利益冲突

作者宣称没有利益冲突。