通信信号的自动调制识别是信号处理领域的一个重要研究课题, 在认知无线电、频谱监管、电子对抗等领域有着广泛应用。传统调制识别方法多是基于人工提取信号的瞬时参数^[1-3]、高阶累计量^[4-5]、循环谱^[6-7]、星座图^[8-9]等特征, 结合决策树^[10]、支持向量机^[11-12]、神经网络^[13]等分类器实现识别, 传统调制识别方法的不足是不易寻找特征且区分能力受限。深度学习技术为调制识别带来了新的发展, 基于深度学习的调制识别方法能够从时域波形、时频变换域等模式中自适应提取特征并分类, 相比传统人工提取特征的方法, 在识别性能、实现便利性上展现出了巨大优势。许多学者尝试将不同深度学习模型应用在调制识别领域中, 取得了较好的识别效果。文献[14-16]基于信号波形输入, 分别采用卷积神经网络(convolutional neural network, CNN)、卷积长短时记忆深度神经网络(convolutional long short-term memory fully connected deep neural networks, CLDNN)和残差网络(residual network, ResNet)实现了调制识别。文献[17]提取信号解调眼图和星座矢量图, 并将其输入到CNN中, 实现了8类幅相调制的识别。文献[18]采用循环神经网络进行卫星幅相调制信号的识别与解调。文献[19]将信号的时频图输入到目标检测网络模型进行信号检测与识别。文献[20]采用生成对抗网络对信号时频图做降噪处理, 再利用ResNet进行调制识别, 提升了模型的抗噪能力。这些研究以监督学习模型为主, 需要大量的带标签样本进行训练, 当带标签样本较少时算法性能下降, 在一定程度上制约了算法的实际应用。在实际应用中, 往往可以采集获取大量信号样本, 但为这些信号打上类别标签需要耗费大量的人力和时间成本, 因此研究少量带标签样本情况下的调制识别问题显得尤为重要。

利用未标注样本进行模型预训练是一种可有效降低带标注数据量的深度学习方法, 近年来在计算机视觉、自然语言处理等任务中取得了巨大成功。对比学习是一种在无监督条件下实现模型预训练的有效途径。文献[21]提出了一种适用于文本、音频等时序数据的对比预测编码模型, 通过对样本进行分段并比较前后段数据的特征编码与预测编码间的互信息来实现预学习训练; 文献[22-24]提出并改进了动量对比模型, 基于对比损失函数采用动量更新的编码器构建动态字典, 提升了模型预训练的效果。文献[25-26]提出的视觉表征对比学习简单框架(simple framework for contrastive learning of visual representations, SimCLR)则通过数据增强的方式构造正负样本, 为模型训练提供自监督信息, 减少了图像分类任务对带标签样本的依赖。上述模型均采用了对比学习的思想, 在图片识别、机器翻译等任务中得到了广泛应用, 在信号处理方面的应用较少。本文借鉴了SimCLR的对比学习思想, 提出了一种适应于信号处理领域的自监督对比学习方法, 设计了结合信号特点的对比学习样本生成方法, 并改造了神经网络结构, 使之适合信号波形输入, 实现了少量带标签样本下的调制识别。

本文的组织结构如下: 第1节介绍了用于图像识别任务的SimCLR框架; 第2节建立了适合信号领域的自监督对比学习框架; 第3节给出了基于自监督特征进行调制识别的模型; 第4节给出了算法的仿真试验结果, 最后一节是结论。

Chen等提出的SimCLR框架是一种适应于图像识别领域的通用自监督对比学习框架。相比之前的对比学习方法, SimCLR框架的实现更为简单, 不需要进行与任务相关的特别设计, 具有更好的通用性, 同时性能也更优。基于此, 本文把SimCLR框架应用到信号识别领域中, 以充分利用大量未标注信号样本进行预学习训练，以降低对标注样本量的需求。本节先介绍SimCLR框架, 下节再介绍结合信号数据特点进行的优化改进。

SimCLR框架的核心思想是利用来源于同一样本的不同增强样本间具有相似性、而来源于不同样本的增强样本间具有差异性的特点, 构造代价函数来进行表征学习。SimCLR框架如图 1所示, 主要包括随机样本增强、神经网络结构和对比损失函数3个部分。

(1) 随机样本增强

自监督学习的样本没有标签, 其学习的全部信息来源于样本本身, 因此自监督对比学习的关键是从原始样本出发, 构造用于学习的正负样本对。如图 1所示, 以批量N为单位进行数据增强, 从训练集中随机选择N张图像, 对每张图像随机裁剪两次, 生成两个增强样本, 保持其中一个样本不变, 对另外一个样本随机加入旋转、颜色失真、高斯模糊等干扰。把批量图像中由同一图像生成的两个增强样本看作一对正样本, 其余增强后的2(N-1)个样本统一视为该样本对的负样本。正样本对中的两个样本来源于同一样本数据, 具有相似性, 而负样本对中的两个样本来源于不同样本数据, 具有差异性, 从而可提供学习信息。

(2) 神经网络结构

SimCLR的网络结构由特征提取网络和特征投影网络组成。如图 1所示, 用f( )表示特征提取网络, g( )表示特征投影网络。特征提取网络的目的是从输入样本中提取有效的特征表征, 多采用经典网络实现, 如ResNet等。设x_i为原始样本, $\widetilde{x}_i$为增强后样本, 则经特征提取网络后输出的特征表征为h_i=f($\widetilde{x}_i$)。特征投影网络的目的是将特征表征h_i投影到对比损失函数对应的空间进行计算, 一般采用带非线性激励的多层全连接网络实现。设z_i=g(h_i)为特征投影网络的输出, 则单层全连接网络具有如下形式g(h_i)=W⁽²⁾σ(W⁽¹⁾h_i), 其中σ为ReLU函数^[27]。

(3) 对比损失函数

准备好训练数据并且搭建好神经网络之后, 采用归一化加权交叉熵损失函数(normalized temperature-scaled cross entropy loss, NT-Xent)作为学习训练的对比损失函数。定义样本相似度来衡量样本对的一致性, 通过最大化正样本对间的相似度和最小化负样本对间的相似度, 从数据中学习通用的“特征表征”。NT-Xent的定义如下:

(1) $L=\frac{1}{2 N} \sum\limits_{k=1}^N[\ell(2 k-1, 2 k)+\ell(2 k, 2 k-1)]$

式中: N为批量大小; 2k-1、2k为批量中正样本对序号; ℓ(i, j)为正样本对的对比损失函数:

(2) $\ell(i, j)=-\ln \frac{\exp \left(\frac{\operatorname{sim}\left(\boldsymbol{z}_i, \boldsymbol{z}_j\right)}{\tau}\right)}{\sum\limits_{k=1}^{2 N} {\bf{1}}_{[k \neq i]} \exp \left(\frac{\operatorname{sim}\left(\boldsymbol{z}_i, \boldsymbol{z}_k\right)}{\tau}\right)}$

式中: z为特征投影网络的输出; τ为权重因子, 经验取值为0.1;1_[k≠i]∈{0, 1}为指示函数, k=i时取0, k≠i时取1;sim( )为样本相似度函数, 定义如下:

(3) $\operatorname{sim}\left(\boldsymbol{z}_i, \boldsymbol{z}_j\right)=\frac{\boldsymbol{z}_i^{\mathrm{T}} \boldsymbol{z}_j}{\left\|\boldsymbol{z}_i\right\|\left\|\boldsymbol{z}_j\right\|}$

信号样本与图像样本在数据形式、处理方法上有很大不同, 因此在将SimCLR框架应用到信号领域时, 需结合信号特点进行数据增强、网络结构等方面的适应性改造。假定输入信号为复采样同相/正交(in-phase/quadrature, I/Q)格式, 长度为L, 则输入数据维度为L×2, 其中2代表每个样点含实、虚两部分数值。

(1) 随机样本增强

合适的样本增强方法对SimCLR的性能至关重要。在图像领域, SimCLR通过对原始样本进行随机裁剪并进行角度旋转、颜色畸变、高斯模糊等处理来生成增强样本, 且试验表明, 随机裁剪与颜色畸变的组合处理等方式能实现最佳的学习性能。对于信号而言, 上述处理方法显然是不合适的。

本文结合信号特点, 采用基于随机裁剪并添加频偏扰动、相位扰动和噪声扰动的方法来生成增强样本, 如图 2所示, 其中实、虚线波形表示信号的实、虚部。设x(t)为原始信号样本, 通过随机偏移控制从信号的不同位置截取等长的两部分波形, 分别记为x_i(t)和x_j(t), 经扰动处理后生成增强后的样本对$\tilde{x}_i(t)$和x_j(t)。以$\tilde{x}_i(t)$为例, 扰动操作定义为

(4) $\tilde{x}_i(t)=x_i(t) \exp \left(\mathrm{j}\left(2 \pi f_i t+\varphi_i\right)\right)+n_i(t)$

式中: f_i为频偏扰动; φ_i为相位扰动; n_i(t)为与x_i(t)等长的噪声扰动序列。

上述处理的合理性在于, 信号样本在不同位置处截取的波形因调制的符号序列不同而存在较大差别, 接收信号常常存在不同的残余频偏、相偏影响, 接收信噪比也往往不一样, 这些均会造成信号波形上的差别, 但信号的调制方式并未改变。对比学习算法需要能够适应这些变化的波形, 从中学习到共性的调制方式特征表达。

(2) 神经网络结构

下面给出本文采用的特征提取网络和特征投影网络结构, 主要根据信号特点和调制识别应用来调整网络各层的特征谱图尺寸, 适当压缩网络深度, 并选择合适的特征表征维度。

为简便操作, 每次按照相同的长度进行随机裁剪。设随机裁剪后的样本长度为L₁, 将其定义为裁剪比例:

(5) $R=L_1 / L$

以L=1 024, L₁=256为例, 表 1给出了信号自监督对比学习网络的参数。

特征提取网络采用Res-Net结构, 将输入信号样本看作是尺寸为256×2的图像进行处理, 主干网络由6个残差栈堆叠而成, 最后为全局平均池化层输出提取出的特征向量。每个残差栈结构如图 3所示, 残差栈由一个1×1卷积层^[28]、两个残差单元^[29]和一个最大池化层^[30]组成。考虑到其中一个输入维度为2, 因此采用3×2卷积核进行卷积, 并保持卷积前后尺度不变; 除最终的全局平均池化层, 中间的池化层均保持该维度不变, 另外一个维度依次进行减半处理。全局平均池化层对每个通道的特征图进行平均来降低数据维度, 并输出特征向量用于后续的调制识别应用。考虑到常规调制识别算法所用的特征维度一般为几维到十几维, 因此将全局平均池化层输出的特征维度设置为64, 使之具备足够的调制特征提取容量, 同时复杂度又不会太大。

(3) 对比损失函数

本文模型在对比学习训练时沿用式(1)所示的NT-Xent。在每次训练时，从训练集中随机采样N个样本作为批量样本进行数据增强, 将批量样本中来源于同一样本的增强样本视为正样本对, 将来源于不同样本的增强样本视为负样本对, 在NT-Xent指引下进行学习训练。在每批采样的N个样本中, 可能有多于1个样本来自于同一类调制, 这些样本的增强样本具有相同的调制方式, 但组成的是负样本对。考虑到式(1)所示函数会对所有负样本对的计算取平均, 而采样自同一调制的样本概率很小, 意味着来源于同一调制的负样本对在全部负样本对中的占比很小, 不会对最终的计算结果造成大的影响。

按照第2节所示方法进行预学习训练后, 移除特征投影网络, 将特征提取网络输出的特征向量经一个全连接层后连接Softmax分类器, 构造出基于自监督特征的调制识别模型。全连接层的作用是将特征提取网络输出的特征进行线性组合, 并且实现特征维度向分类器维度的转换。考虑到特征投影网络由多层全连接网络组成, 也可选择特征投影网络的某层输出作为特征向量, 经一个全连接层后连接Softmax分类器, 如图 4所示。设特征提取网络输出的特征维度为H, 特征投影网络各层的输入、输出维度是一致的, 从而从各层引出的特征维度也为H; 设待识别的调制方式有C类, 则通过一个输入为H个节点、输出为C个节点的全连接层, 可实现特征向量与分类器之间的连接。

针对调制识别应用进行监督训练时, 只需对新增加的一个全连接层参数进行学习, 待学习的参数量非常少, 因而只需极少标签数据就能完成训练收敛, 大幅减轻了调制识别对带标注数据量的需求。由于全局平均池化层的存在, 模型能够适应长度增加的数据, 因此无需再对输入信号做裁剪处理。

综上所述, 本文算法流程如下:

步骤1  无标签样本自监督对比学习

步骤1.1  每个训练批次取N个无标签样本, 记为x={x₁, x₂, …, x_N}, 每个样本x_i随机生成2个增强样本$\tilde{x}_{i, 1}$和$\tilde{x}_{i, 2}$, 同一样本生成的2个样本记为正样本对{$\tilde{x}_{i, 1}$, $\tilde{x}_{i, 2}$}, 不同样本生成的2个样本记为负样本对{$\tilde{x}_{i, k}$, $\tilde{x}_{i, m}$}, 其中i≠j且k, m={1, 2}, 共生成N个正样本对和2N(N-1)个负样本对。

步骤1.2  将每个增强样本$\tilde{x}$输入到特征提取网络f( )中获得信号的特征表征h, 再经过特征投影网络g( )将特征表征投影到对比损失函数对应的空间, 则第k个增强样本$\tilde{x}_{k}$通过特征投影网络的输出为z_k=g(h_k)=g(f($\tilde{x}_{k}$))。

步骤1.3  将样本对经网络后的输出z_k输入到式(1)所示的NT-Xent中, 通过最大化正样本对间的距离、最小化负样本对间的距离, 学习样本通用的“特征表征”, 实现神经网络模型的预训练。

步骤2  少量标签样本监督学习

步骤2.1  在模型预训练完成后移除特征投影网络, 将特征提取网络输出经一个全连接层后连接Softmax分类器, 构造图 4所示的调制识别模型。

步骤2.2  在训练时固定特征提取网络参数, 采用M个带标签样本{x^*, y^*}, 定义交叉熵损失函数，对全连接层参数进行监督学习训练。

采用RadioML2018.01A数据集进行调制识别试验。该数据集由GNU Radio软件无线电平台产生, 共包含24类调制方式在26种信噪比下长度为1 024的I/Q采样数据。考虑到实际调制识别场景中输入信号的信噪比通常在0 dB以上, 因此本文选取信噪比在0∶2∶30 dB的样本进行模型训练及性能评估。每类调制在每种信噪比下的样本数约为4 096个, 选择的样本总量为4 096×24×16=1 572 864个。表 2给出了本文选用的数据集详情, 按4:1的比例划分训练集与测试集, 将训练集中的全部数据进行自监督训练, 用少量带标签数据进行调制识别监督训练。

将自监督学习时的批处理大小设置为N=512。生成增强样本时按50%的概率引入频偏扰动、相位扰动并叠加高斯白噪声, 根据RadioML2018.01A中信号样本参数设置各参数的扰动范围, 并在扰动范围内进行均匀等概取值。设置RadioML2018.01A中的样本采样率为200 kHz, 过采样倍数为16, 信号平均功率为1.0;设置绝对频偏范围为[-300~+300], 则相对符号速率的归一化频偏扰动范围为[-2.4%~+2.4%]; 相位扰动范围为[-π, π]; 叠加高斯噪声幅度的扰动范围为[0~0.1], 则相对信号功率的最大叠加高斯噪声功率为-20 dB。在自监督学习时采用Adam优化器, 将学习率设为0.001。考虑到自监督学习需要进行较长的训练才能达到好的训练效果, 设置迭代轮数为200epochs。在自监督学习训练完成后, 将特征提取网络输出的特征经一个全连接层后连接Softmax分类器, 用于调制识别应用。监督训练时仅对全连接层参数进行学习, 仍然采用学习率为0.001的Adam优化器, 在带标签数据集上进行迭代训练, 直至收敛。

为了评估本文调制识别模型的性能, 将其与文献[14]、文献[15]、文献[16]等提出的监督学习模型进行对比试验。文献[14]采用的是CNN模型, 记为CNN监督方法; 文献[15]采用的是CLDNN模型, 记为CLDNN监督方法; 文献[16]采用的是Res-Net模型, 记为Res-Net监督方法。各方法采用的模型详情如表 3所示, 其中CNN监督方法和CLDNN监督方法是面向RadioML2016.10A提出的, 为了适应本文采用的RadioML2018.01A数据集, 适当调整了网络参数。

实验1  带标签样本数量对模型性能的影响

从训练集中采样100%、10%、1%和0.1%的带标签样本, 分别对本文方法和CNN、Res-Net、CLDNN监督方法中的模型进行训练。其中, 本文方法先固定自监督学习得到的模型参数, 仅对连接Softmax分类器的全连接层参数进行学习, 而后3种方法均对全网络参数进行学习。图 5给出了4种数据量下4种方法的识别准确率随信噪比的变化曲线。

由图 5可以看出, 当带标签样本数据量较多时, 本文模型能够达到媲美监督学习的调制识别效果, 表明本文方法可以在无监督条件下高质量地提取信号特征。在采用全数据集进行训练时, 本文方法与CNN、Res-Net、CLDNN等监督学习方法性能相当。当采样10%的带标签样本进行训练时, 本文方法的性能略优于Res-Net和CLDNN监督方法, 明显优于CNN监督方法。随着带标签样本数据量减少, CNN、Res-Net、CLDNN等监督方法的识别准确率均明显下降, 但本文算法几乎没有受到太大影响。当带标签样本的数据比例为1%时, 本文方法对信噪比大于等于8 dB的24类调制信号的识别准确率可以达到94%以上, 比CLDNN监督方法高出约18%。当带标签样本的数据比例降至0.1%时, 此时每类调制在每种信噪比下只采样了4个样本, 本文方法仍然能正常运行, 且对信噪比大于等于8 dB的24类调制信号的识别准确率仍然能达到93%以上, 而此时CNN、Res-Net、CLDNN监督方法已因数据量过少而导致训练不收敛或者陷入过拟合, 识别性能急剧降低。

实验2  特征向量提取位置对模型性能的影响

第3节指出, 基于自监督网络构建调制识别模型时, 连接分类器的特征向量可以是特征提取网络的输出, 也可以是特征投影网络的某层输出。前文仿真选择的是特征提取网络的输出。图 6给出了特征向量取值位置不同时调制识别准确率的变化曲线。

图 6中第0层指采用特征提取网络的输出, 第k=1、2、3层指采用特征投影网络第k个全连接层的输出, 训练时带标签样本的数量比例取10%。由图 6可知, 采用特征提取网络的输出时性能最好, 优于采用特征投影网络各层输出下的性能。这是因为, 特征投影网络将特征提取网络的输出特征投影到对比损失函数对应的空间, 会损失特征信息。本文仿真时的特征向量位置均默认为特征提取网络的输出。

实验3  样本裁剪比例对模型性能的影响

在样本增强时会对信号样本进行随机裁剪, 式(5)决定的裁剪比例也会对本文方法性能产生影响。图 7给出了裁剪比例分别为1/2、1/4、1/8时本文算法的识别准确率对比, 训练时带标签样本的数量比例取10%。由图 7可知, 裁剪比例为1/4时本文方法能达到最佳性能。由于同一样本随机裁剪生成的增强样本可能会有部分波形重叠, 重叠波形会极大提高样本对的相似性, 但该相似性主要由同一段波形引起, 不是由相同的调制方式属性引起, 从而会对训练性能造成损害。当裁剪比例为1/2时, 这部分样本占比较大, 会导致识别性能下降; 当裁剪比例降至1/8时, 样本长度过短，也会使得模型性能下降; 当裁剪比例取1/4时, 能在两个因素间取得较好的平衡。

本文主要研究了少量标签样本下基于深度学习的调制识别方法, 通过借鉴SimCLR的对比学习框架, 提出了一种适应于信号处理领域的自监督对比学习方法，并将其应用于调制识别中, 通过充分利用无标签样本进行无监督预训练, 利用少量带标签数据进行调制识别训练, 可大幅降低训练所需的带标签样本数量。考虑到在实际操作中容易收集到大量未标注信号样本, 但带标注样本往往依赖人工分析、人工标注而难于积累, 因此本文算法具备较好的实际应用价值。