作者中心
专家审稿
责编办公
编辑办公
Scattering Information and Meta-learning Based SAR Images Interpretation for Aircraft Target Recognition
-
摘要: SAR图像由于数据获取难度大，样本标注难，目标覆盖率不足，导致包含地理空间目标的影像数量稀少。为了解决这些问题，该文开展了基于散射信息和元学习的SAR图像飞机目标识别方法研究。针对SAR图像中不同型号飞机空间结构离散分布差异较大的情况，设计散射关联分类器，对飞机目标的离散程度量化建模，通过不同目标离散分布的差异来动态调整样本对的权重，指导网络学习更具有区分性的类间特征表示。考虑到SAR目标成像易受背景噪声的影响，设计了自适应特征细化模块，促使网络更加关注飞机的关键部件区域，减少背景噪声干扰。该文方法有效地将目标散射分布特性与网络的自动学习过程相结合。实验结果表明，在5-way 1-shot的极少样本新类别识别任务上，该方法识别精度为59.90%，相比于基础方法提升了3.85%。减少一半训练数据量后，该方法在新类别的极少样本识别任务上仍然表现优异。
-
关键词:
- 合成孔径雷达(SAR) /
- 飞机目标识别 /
- 元学习 /
- 散射信息
Abstract: The sample scarcity issue is still challenged for SAR images interpretation. The number of geospatial targets related images is constrained of the SAR images interpretation ability of data acquisition, sample labeling, and the lack of target coverage. Our SAR-ATR method is demonstrated based on scattering information and meta-learning. First, the discrete distribution of the spatial structure of different types of aircraft is quite different in SAR images. An associated scattering classifier is designed to guide the network to learn more discriminative intra-class and inter-class feature descriptions. Our proposed classifier facilitates the modeling of discrete degree of the aircraft target quantitatively and balance the weights of sample pairs dynamically through the differentiated analysis of different target discrete distributions. In addition, an adaptive feature refinement module is designed to optimize the network cohesion for the key parts of the aircraft and reduce the interference of background noise. The proposed method integrates the target scattering distribution properties to the network learning process. On 5-way 1-shot emerging categorized recognition task involved only few samples, our experimental results demonstrate that the recognition accuracy of this method is 59.90%, which is 3.85% higher than the benchmark. After reducing the amount of training data by half, the proposed method is still competitive on the new category of few-shot recognition tasks. -
1. 引言
随着雷达卫星的快速发展，其在灾害监测、地形测绘、目标检测与识别等领域发挥着重要的作用[1]。特别是SAR目标识别越来越受到研究人员的关注。
传统的SAR目标识别方法主要分为基于模板和基于模型的方法。基于模板的方法大致包含特征提取和分类决策两个步骤：通过将提取到的几何投影等特征和预先构建的模板库比对进行识别[2]。基于模型的方法主要通过三维电磁散射模型或电脑辅助设计(Computer-Aided Design, CAD)模型来生成不同成像条件下的图像，进一步和待测图像匹配识别[3]。然而这些方法的模型构建较为复杂，灵活性不足，尤其在特征器选择和分类器构建方面耗时耗力。因此，有必要引入卷积神经网络来自动提取目标特征，学习模型参数。
深度学习由于其强大的自动特征提取能力被引入SAR目标解译任务[4-6]中。Zhao等人[7]提出一种多角度图像序列识别模型，在大部分数据集上取得最优性能。部分研究把复数图像作为输入，提取相位信息[8]和频率信息[9] 并和深度网络特征融合。然而，深度学习模型是数据驱动的，其性能严重依赖于数据的规模。在SAR领域，首先，受数据获取方式的限制，包含地理空间目标的SAR图像数量匮乏；同时，SAR目标解译是一项艰巨的任务，需要专家经验和先验知识，这导致难以获取大量的带标签SAR数据。因此，通用的深度学习方法在SAR目标识别任务中面临着样本不足的挑战，将小样本学习应用于SAR目标识别任务是较有意义的。
在SAR领域，针对少样本问题的解决思路主要分为3种：数据扩充、模型优化[10]和先验知识。数据扩充是解决样本匮乏问题的最直接思路。部分研究通过生成对抗网络(Generative Adversarial Network, GAN)来生成新的样本，或者利用仿真软件与模型来合成新样本[11-15]。Cui等人[14]使用基于梯度惩罚的Wasserstein GAN (WGAN)来学习真实样本的层语义信息，从而生成新样本。 Kusk等人[15]利用一种合成SAR图像的软件工具和CAD模型结合生成了较为逼真的不同分辨率SAR图像。
上述方法操作较为复杂，可扩展性不足，模型优化类的方法从是否特定于任务的角度来改进嵌入学习网络。特定于任务的优化主要针对网络结构的优化。Lin等人[16] 提出一种新型卷积高速公路单元结构对网络结构进行优化。通过网络单元堆叠，在训练样本有限情况下，保持了高识别精度。Yu等人[17] 提出一种改进的卷积自编码器初始化部分网络参数，在不扩充训练样本情况下，实现较高识别精度。而度量学习则通过在大量不同的任务上学习，将任务不变性知识和特定于任务的知识合并。Pan等人[18]应用基于度量学习的方法来解决SAR目标识别问题，使用孪生网络实现了较高的识别准确率。
迁移学习和元学习则是基于先验知识的两种代表性的方法。迁移学习旨在建立源域和目标域之间的连接，最大限度地利用数据量充足的源域数据来学习先验知识[19-23]，解决目标域中样本不足的问题。Kang等人[22]使用光学CIFAR-10数据集构建预训练网络进行SAR图像识别研究；Huang等人[23]在数据量更大的仿真SAR数据上进行预训练并探索了如何更好的迁移学习。而SAR飞机领域缺乏大型可供预训练的数据集，性能提升有限。元学习则将经典深度学习网络中样本级的学习升级到以任务为单元的学习，通过学习一个通用的初始化和良好的初始点，来为新任务引入泛化性先验知识，从而实现少量样本情况下在新任务上的快速适应学习[24-26]。Fu等人[26]提出了一个由元学习器和基学习器组成的元学习框架，在仿真数据集上预训练之后，固定特征提取器参数，根据移动与静止目标获取识别(Moving and Stationary Target Acquisition and Recognition, MSTAR)数据集[27]微调其余网络参数。
尽管上述方法都取得了不错的效果，但仍存在一些亟待解决的问题。如SAR图像特殊的成像机制，导致通用的小样本深度学习方法在SAR图像识别任务上的性能存在瓶颈；在新类别目标上识别性能的探索不足，而Fu等人[26]提出的方法在面对新的小样本任务时，学习过程缓慢，容易陷入过拟合等。 基于这些问题，本文开展了基于散射信息和元学习的SAR图像飞机目标识别方法研究，期望实现少样本条件下和SAR散射特性的有效结合，提升在新类别上的泛化性能和快速识别能力。
2. 基于度量的元学习算法
基于度量的元学习方法主要分为两个阶段：特征提取和样本间距离的度量学习，大部分工作主要针对特征提取部分的改进和样本间距离的建模开展。与经典的深度学习网络训练过程不同，在元学习中，网络以任务为单位进行学习，一个任务类似于经典训练方法中的一个批次。网络并非针对特定的任务进行学习，而是每次采样不同的少样本任务并进行优化，从而提升在遇到新类别任务时的识别泛化能力。
元学习数据集分为元测试集和元训练集。训练类别和测试类别之间没有交集。假设元训练数据集
Dtrain={(x1,y1),(x2,y2),⋯,(xNtr,yNtr)} ，总共包含Ctr 个类别和Ntr 个样本。元测试数据集Dtest={(x1,y1),(x2,y2),⋯,(xNte,yNte)} 包含Cte 个类别，测试样本数为Nte 。在元训练过程的每次迭代中，从所有Ctr 个训练类别中随机选择N个类别组合，选定的类别组合根据类别顺序的不同，又可组成多个不同任务，那么训练过程中可以产生的不同类别组合数目为CNCtrANN=(Ctr!N!(Ctr−N)!)×(N(N−1)⋯(2)(1)) (1) 然后分别从每个选定的类别中随机选择K个样本和Q个样本形成支持集和查询集。这里的查询集可理解为经典深度学习中的验证集，用于计算验证损失，优化元学习器。也就是说，在每个训练迭代中，模型需要学习如何仅利用
N×K 个已知标签数据，来准确地对验证集中N×Q 个目标进行分类识别，这称为N-way K-shot任务。需要注意的是，单个任务的支持集和查询集仅与元学习的设定相关。为了便于公平比较，本文参数设定与通用方法保持一致。采样的元学习任务形式为5-way 1-shot和5-way 5-shot任务。图1所示为5-way 1-shot元学习任务下的训练与测试过程详细设置与流程，在元训练的每次迭代中，首先从
Ctr 个训练类别中随机选取5个类别，然后从5个类别的每个类别中随机选取1张标签数据组成支持集，随机选取Q张数据组成查询集即验证集，模型通过在验证集上计算识别任务损失，对元学习模型参数进行优化。通常Q增大，效果会提升，为了和通用的元学习任务设定保持一致，本文设定Q=15。因此，可以认为5-way 1-shot和5-way 5-shot任务是极少样本识别任务。在特征提取阶段，网络将选定的支持集和查询集图片映射到同一度量空间内，得到各自的嵌入向量；在样本间的距离度量学习阶段，缩小同类的样本在度量空间内的距离，扩大不同类的样本在度量空间内的距离，最终网络将学习到不同类别的识别任务上的泛化性特征。与元训练过程类似，在元测试过程的每次迭代中，从
Cte 个类别中随机选定5个类别，5个选定类别的每个类别中随机选取Q个样本组成查询集，由此形成一个元测试任务。通过统计针对查询集所有样本的测试结果，得到模型的测试精度。在元训练过程中，每轮训练都会随机抽取不同的元任务。这种学习机制允许模型学习不同元任务的共性，并减少对特定任务相关部分的关注。当面对未知的元任务时，模型的泛化能力得到了提高。3. 基于散射信息和元学习的SAR图像飞机目标识别方法
3.1 SAR飞机散射离散分布特性分析
SAR图像是SAR系统完成以分辨率单元为尺度的地面点与以像素大小为尺度的图像点之间的变换。变换的主要内容是将地面点的回波转换成图像强度，因此图像强度反应了目标的结构散射特性。对于飞机舰船类的硬目标，存在角反射器效应，当地物目标具有两个或三个相互垂直的光滑表面时，就构成了二面角和三面角。飞机目标的机翼与机身连接处、尾翼处有大量二面角，易形成散射，当地物目标方位角是90°时，散射回波能量最强。这使得不同型号的飞机外观差异主要体现在机翼的形状和数量布局、发动机数量、机身长度等因素，进而导致不同型号的飞机离散程度有较大区别。本文对飞机的散射离散信息进行提取，不同型号飞机对应的具体结果如图2所示。
实验选取Harris-Laplace检测器提取散射关键点，使用2×2的卷积框在每点处进行平移，Sobel求导时的窗口大小设为3。最后对这些点进行聚类操作。图2中第1行为原始图像，第2行为对应的角点检测结果，最终对角点检测提取的结果使用K均值算法进行聚类。
考虑到如果后续有新数据用于训练，可以更为智能高效地提取散射点并利用散射信息，本文将散射点提取和散射信息计算过程和网络的自动学习训练过程融合。这种融合会增加网络训练的计算量，一定程度上降低训练效率。为了实现计算量和散射点提取效果上的平衡，参考相关工作[28]，设置为9个点对SAR舰船任务取得较好的效果。另外，如图3所示，点数减少时会有部分型号飞机关键部件缺失，点数增多时，部分背景复杂的小型飞机会提取出较多的噪声点。因此本文在各个类别目标的提取效果之间做了一个权衡，采用9个聚类点，可以在保证计算效率的同时较为完整的保留目标整体框架和相对分布，图2的第3行给出聚类结果。
图 3 不同机型不同聚类点数下的散射点提取结果Figure 3. Scattering point extraction results for different models and different clustering pointsSAR图像易受成像条件的影响，不同朝向的同一型号飞机散射信息可能差异较大，如图4所示。这种差异的存在也有一定意义，由于本文利用的是离散因子差异，当同一型号目标的离散因子差异较大的时候，模型同样会对此类样本对重点关注，因而可以学到类内强泛化性特征表示，这对于提升类内类间的特征表示，增强识别精度也是有意义的。而对于不同型号的目标之间，只要离散因子差异存在，那么相比于基础方法，模型均会增大关注程度，因此对于类间强区分性特征表示和学习并不会产生较大影响。离散因子的概念将在第3.3节散射关联分类器中详细介绍。
图 4 不同朝向的同型号飞机对应的离散因子Figure 4. Discrete factors corresponding to the same type of aircraft with different orientations3.2 模型框架和网络结构
针对SAR目标样本少，自然场景下的统计视觉特征不符合SAR成像原理等问题，本文提出基于散射信息和元学习的SAR图像飞机目标识别方法，该方法的整体网络结构如图5所示，由散射关联分类器和自适应特征细化模块组成。本文方法采用了测试时无需微调的基于度量的元学习框架，将SAR目标的散射离散特性和网络自动学习过程融合，从而针对特定任务实现模型性能的快速提升。
每次训练时随机选取几个指定类别组成不同的小样本学习任务。该方法首先使用自适应特征细化模块提取输入的支持图像和查询图像各自的特征，其中包含的混合注意力模块在通道和空间维度进行特征聚合，帮助网络更好地学习全局上下文语义信息。提取得到的每个查询图像特征和全部支持图像特征，以连接的方式进行特征融合。
融合后的特征输入散射关联分类器，经过堆叠的卷积层和全连接层之后得到属于每个类别的得分。最后，从原始图像中提取散射关键点并进行聚类，根据聚类中心对每个飞机目标的离散程度进行量化，从而获取每个查询图像对应于每个支持图像的离散因子。得到的离散因子向量归一化之后与原始输出得分相加，最终输出任务的均方损失，由此实现散射先验信息嵌入网络的自动学习过程中。该方法的创新点如下：
(1) 采用散射关联分类器将飞机结构离散程度和网络预测结果融合，指导网络增加对于离散程度差异大的同类型目标，以及离散程度接近的不同类型目标。网络可以学习提取泛化性类内语义特征和区分性类间语义特征。
(2) 网络通过自适应特征细化模块来关注目标上下文语义信息，学习需要强调和抑制的信息，从而减轻SAR目标背景噪声的干扰。
实验结果表明，与其他SAR小样本识别网络相比，在只有1张或5张新类别标签数据的极少样本识别任务上，本文方法无需微调即可达到最优的性能。在只使用50%训练数据量的情况下，本文方法性能仍然表现稳定，超过了使用100%数据量的大部分模型。因此，该方法有效提升了少样本条件下的识别精度。
3.3 散射关联分类器
从图2中可以看出，对于波音、空客等不同大小、不同型号的飞机，关键散射点的分布离散程度也是不同的，因此本文使用离散因子来对飞机的散射离散性质进行描述。假设最终的9个聚类中心为
centers={(x1,y1),(x2,y2),⋯,(x9,y9)} ，数学中，平均差是总体各单位标志对其算术平均数的离差绝对值的算术平均数。它综合反映了总体各单位标志值的变动程度。本文使用平均差来描述离散程度。聚类中心的均值meancenter 定义为meancenter=(a,b)=(x1+x2+⋯+x99,y1+y2+⋯+y99) (2) 同时为了将离散度归一化到同一水平范围内，防止差异过大，本文将聚类点映射到同等大小的图像上，具体过程为
y2=h2h1×y1,x2=w2w1×x1 (3) 其中，
(w1,h1) 和(w2,h2) 分别表示原始图像大小和缩放大小。(x1,y1) 和(x2,y2) 分别表示原始坐标和缩放坐标。最终离散程度disp 定义为disp=√(x1−a)2+(y1−b)2+√(x2−a)2+(y2−b)2+⋯+√(x9−a)2+(y9−b)29 (4) 在元学习的训练过程中，针对一个N-way K-shot任务来说，共有查询图片Q张，支持图片
N×K 张，两两之间均会计算一个离散程度的差值。最终会计算得到Q×N×K 个离散因子。每个离散因子定义为−|dispq−disps| (5) 其中，
q∈Q,s∈S ，Q和S分别为查询集和支持集。散射关联分类器具体网络结构如图6所示。原始输入图像统一调整大小为84×84，经过两个由卷积、归一化和最大池化组成的卷积模块后，输入线性全连接层和ReLU激活函数，最终输出每个查询图片对应于每个类别支持图片的相似度得分。同样，每个查询图片对应于每个类别的支持图片都会计算得到一个离散因子。本文方法将该得分与离散因子相加，并将最终得分输入Sigmoid函数转换为0-1分布。
在5-way 1-shot的情况下，当输入一张待测的查询样本时，该查询样本和5个支持集的样本会通过特征提取网络提取特征并进行拼接，得到5个新的特征图，随后输入图5中的散射关联分类器中，最终输出一个one-hot向量代表属于每类的得分。训练使用均方误差作为损失函数，具体如式(6)所示。
Loss=M∑i=15∑j=1(ri,j−1(yi==yj))2 (6) 其中，
ri,j 代表图片i和图片j的相似度，yi 与yj 分别代表图片的真实标签。当属于同一类别的查询图片和支持图片的散射离散程度差异较大的时候，那么可以认为他们属于同一类别的可能性较低，散射关联分类器将其相对得分变小从而使得网络学习更具泛化性的类内特征表示。当属于不同类别的查询图片和支持图片的散射离散程度差异较小的时候，那么可以认为他们属于同一类别的可能性较大，散射关联分类器将其相对得分变大，从而促使网络提取更具有代表性和区分性的类间语义特征。
3.4 自适应特征细化模块
本文设置了自适应特征细化模块，在卷积层之间加入空间和通道混合的注意力，将空间维度和通道维度上的信息进行融合，使得网络可以更好地关注全局上下文语义信息，学习全局信息和关键区域信息，抑制背景噪声信息。具体网络结构细节如图7所示。
该模块主要包含通道注意力和空间注意力两部分。在通道注意力部分，首先采用全局最大池化和平均池化两种方式对空间特征聚合，来利用不同的信息。假设输入特征图F大小为
H×W×C ，进行全局最大池化和平均池化之后的特征图大小为1×1×C 。生成的特征图输入3层共享卷积神经网络，经过激活函数后输出权重系数并和原始的特征图F相乘得到缩放后的特征图。具体过程如式(7)所述，其中W0 和W1 表示卷积网络需要学习的网络参数，FCavg 和FCmax 分别表示平均池化和最大池化后输出的特征图。Mc(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))=σ(W1(W0FCavg)+W1(W0FCmax)) (7) 和通道注意力类似，在空间注意力部分，给定一个
H×W×C 的特征图F′ ，首先进行通道维度上的最大池化和平均池化，并将两部分得到的特征图拼接。拼接后的特征图经过一层卷积层和激活函数得到权重系数，并和输入特征图相乘得到缩放后的特征图。具体过程如式(8)所述，其中f7∗7 表示7×7的卷积操作，FSavg 和FSmax 分别表示平均池化和最大池化后输出的特征图。经过两部分的混合注意力后，最终的输出特征图如式(9)所示。
Ms(F)=σ(f7∗7([AvgPool(F);MaxPool(F)]))=σ(f7∗7([FSavg;FSmax])) (8) Fout=Mc(F)∗F∗(Mc(F)∗F∗Ms(F)) (9) 其中，
σ 表示Sigmoid激活函数，AvgPool 和MaxPool 分别表示对特征图的平均池化和最大池化操作。4. 实验
4.1 实验数据
数据来源：GF3-ADD[29]和FUSAR-Ship[30]中将高分三号图像用于SAR舰船识别，与其类似，本文构建了一个名为SAR-ACD的实验数据集来说明所提出方法的有效性。高分三号卫星为C波段，分辨率为1 m，工作模式为聚束(SpotLight)模式。本数据集共包含了11幅分辨率为 1 m的高分三号C波段图像，极化方式为HH极化，覆盖了不同时间段的上海虹桥机场区域、北京首都国际机场区域和另一个机场。该数据集包含6个民用飞机类别和14个其他飞机类别，民用SAR飞机及其对应的光学图像如图8所示。需要强调的是，SAR-ACD包含不同机场的复杂场景。同时，SAR-ACD中的目标类别丰富，大小差异较大。
图 8 SAR-ACD中的民用飞机及其对应的光学图像Figure 8. Civil aircraft in SAR-ACD and their corresponding optical images类别标注：对于收集到的原始SAR图像，本文统一进行了归一化和辐射校准。该数据集是对照相应的光学图像手动标记的。一般来说，停机坪是固定的，通过结合专家解译和大量人工解译环节，飞机的真值框可认为是准确可靠的。SAR-ACD中总共包含4322个飞机切片，民用飞机的具体类别和每个类别的目标数量如图9所示。本实验中采用对比度变换、亮度变换、锐度变换来解决样本数目不平衡的问题。
4.2 实验设置
元测试数据集和元训练数据集分别由6个和14个类别组成。为了更加充分地验证本方法的有效性，本文根据视觉外观属性，将6个和元训练集中目标差异较大的类别作为测试类别。因此，本文的测试任务可以认为是更具有挑战性的任务。下文针对自适应特征细化模块和散射关联分类器展开消融实验研究。
此外，元训练阶段使用Adam优化器进行监督学习训练，训练学习率设置为0.001，模型训练100000步。在元测试阶段，共测试10次，每次随机选取600个N-way K-shot任务进行测试。在本实验中，选取了两种类型的任务：5-way 5-shot任务和5-way 1-shot任务。元训练和元测试阶段的数据设置如表1所示，和通用的元学习模型设置保持一致，每个类别的查询样本数为15。
表 1 实验中训练和测试期间数据设置Table 1. Data setup during training and testing设置 5-way 5-shot 5-way 1-shot 支持集 查询集 支持集 查询集 元训练 5 15 1 15 元测试 5 15 1 15 4.3 消融实验
为了在有限样本的条件下充分挖掘利用现有信息，进一步提升模型的性能，本节引入了预训练阶段。
在5-way 1-shot和5-way 5-shot条件下的消融实验结果如表2所示。可以看出，加入本文所提的散射关联分类器和自适应特征细化模块之后，在5-way 1-shot任务上的识别准确率提升了3.85%，在5-way 5-shot任务上的识别准确率提升了3.42%。同时这两部分模块没有过度增加模型参数量。
表 2 自适应特征细化模块和散射关联分类器的消融实验Table 2. Ablation study on adaptive feature refinement module and scattering association module散射关联分类器 自适应特征细化模块 5-way 1-shot (%) 5-way 5-shot (%) × × 56.05 ± 0.8 66.71 ± 0.7 × √ 57.57 ± 0.9 67.80 ± 0.7 √ × 58.31 ± 0.9 68.20 ± 0.7 √ √ 58.43 ± 0.8 68.52 ± 0.7 为了验证自适应特征细化模块的有效性，更直观地了解该模块对哪些信息进行了强调，对哪些信息进行了抑制，本文对基础方法和自适应模块对应的卷积层输出特征图进行了可视化。如图10所示，由图10(a)和图10(c)可以看出，背景噪声得到了有效抑制，网络开始着重关注机头、机尾这些关键部件区域。由图10(b)和图10(d)可以看出，网络对于边框和背景噪声的关注得到有效抑制，对于机头、机尾和机翼这些强散射区域增强了关注。
图 10 不同方法对应的卷积层输出特征图可视化Figure 10. Visualization of corresponding layer feature map of different methods相比于自然光学和遥感光学数据集来说，SAR数据集本身就是少样本数据。本文为了对少样本情况下方法性能进行充分分析，设置了更为严苛的少样本条件，将训练数据量减少到不同的百分比进行实验分析。具体实验结果如图11所示，在仅有一半训练数据量的情况下，本文方法在5-way 1-shot的测试任务上性能并没有严重下降，有效缓解了少样本难题。同时在不同百分比训练数据量下的消融实验结果都证明了提出模块的有效性。
图 11 不同训练数据占比时的测试准确率Figure 11. Test accuracy with different proportions of training data预训练也就是在正式的元学习过程开始前进行的参数更新，使用和基于度量的元学习模型相同的网络结构，在元训练数据集已有的14个类别上进行14类的全分类网络训练。训练完成后得到的特征提取和分类器部分的网络参数用于对元学习阶段模型初始化，全连接层部分的参数采用随机初始化的方式。预训练阶段具体操作流程如图12所示。
图 12 预训练阶段基本原理和流程展示Figure 12. The basic principle and process display of the pre-training stage良好的模型参数初始化可以帮助模型快速收敛和优化。通过这种方式，实现对旧类别先验信息的充分利用，提升模型在新类别上的识别能力。和预训练阶段结合后，本文方法的消融实验结果如表3所示。结合前后，5-way 1-shot和5-way 5-shot任务上的识别准确率分别提升了1.47%和1.61%。以上改进全部执行之后，最终5-way 1-shot和5-way 5-shot任务上的识别准确率分别提升了3.85%和3.42%。
表 3 结合预训练过程的消融实验Table 3. Ablation study combined with the pre-training process散射关联分类器 自适应特征细化模块 5-way 1-shot (%) 5-way 5-shot (%) × × 57.33 ± 0.9 67.60 ± 0.7 × √ 58.86 ± 0.8 68.72 ± 0.7 √ × 59.60 ± 0.9 68.85 ± 0.7 √ √ 59.90 ± 0.9 70.13 ± 0.7 元测试过程中，每轮随机选取600个5-way 1-shot任务进行测试并求取最后的平均识别精度。如图13所示，为了更直观地展示元测试数据集中 6 个新类别的识别准确率，本文将 6 个新类别的混淆矩阵可视化。“Type1”和“Type2”的分类准确率相对较高，其余的民用机型分类效果一般。分析原因认为，由于民用机场中飞机目标附近可能存在的车辆目标以及停机坪附近航站楼等硬目标散射存在的干扰和影响，同时由于SAR飞机的成像易变性，不同型号飞机目标之间的类间相似性问题较严重，并且机场中的部分民用飞机目标可能处于缓慢运动状态，因此民用类别类间分类难度提升。
图 13 5-way 1-shot条件下在元测试数据集上不同模块的混淆矩阵Figure 13. Confusion matrix on meta-test dataset on the 5-way 1-shot condition在元训练过程中，本文每间隔100步取一次损失值，训练100000步的损失变化曲线如图14所示。可以看出，加入自适应特征细化模块后的网络收敛稍有变缓，加入散射关联分类器后的网络快速收敛并趋于稳定。
图 14 5-way 1-shot条件下不同方法模块的训练损失变化曲线Figure 14. The loss curve with different modules during training on the 5-way 1-shot condition同时，为了进一步检测模型在复杂背景下的识别性能和稳定性，本文在大场景下进行了测试。如图15所示，在航站楼和复杂背景边界区域的识别结果，绿色表示识别正确，红色表示识别错误，模型可以较为准确的识别出飞机型号。
图 15 大场景复杂机场下的识别性能测试Figure 15. Recognition performance test under large scene and complex airport4.4 与其他方法的比较
将本文提出方法和现有的方法进行对比，对比方法涵盖了传统方法中经典算法KNN，基于优化的元学习算法，部分代表性基于度量的元学习方法和主流的深度学习分类算法。
如表4所示，其中MAML[32]，MatchingNet[33]和PrototypicalNet[34]网络均采用了和本文方法同样的基础骨干网络。本文方法在5-way 1-shot和5-way 5-shot任务上均表现出优异的性能并取得最高的识别精度。消融实验部分，在使用50%数据量的情况下，本文方法在新类别上的识别精度为55.45%，仍然超过了表4中大部分的对比方法。
表 4 本文方法和其他方法的识别精度对比Table 4. Comparison of recognition accuracy between our method and other methods元学习方法也是基于CNN的方法，与主流深度学习分类网络不同的地方是训练模式的不同，主流深度学习分类网络基于全连接网络，按照批次(batch size)进行分类训练。本文增加了以ResNet50[31]作为骨干网络，使用主流的全连接网络进行分类识别的实验对比。同时由于本文的测试任务是在新的类别上展开的，训练和测试时的类别数目不同，这和经典的深度学习分类网络(训练和测试类别数目相同)结构不同。因此为了更公平的比对，本文使用ResNet50[30]网络在14个训练类别上进行14类分类任务训练，然后在新的测试类别上对ResNet50[31]网络进行微调，微调基于选定的测试任务中的标签样本。例如，针对5-way 1-shot任务来说，每次测试时会选出
5×1 张标签样本组成支持集，训练好的ResNet50[31]网络利用这5×1 张标签样本进行全连接层微调，进而测试识别性能。可以看出，微调可利用的样本数量极少，因此效果较差。5. 结语
本文针对SAR飞机目标识别任务中存在样本不足的问题，提出了基于散射信息和元学习的SAR飞机目标识别方法。与现有的少样本识别模型相比，本文提出的方法定义了离散因子来对SAR飞机散射特性进行量化描述，同时将散射离散特性和网络的自动学习过程有效融合，在极少样本的识别任务上实现了高精度识别准确率。其次，本文方法针对特征提取部分上下文信息利用不足的问题，引入了混合注意力机制，实现自适应的特征细化和提取，帮助网络学习应该关注和抑制的信息。此外，考虑到已有数据的匮乏，如何更充分地挖掘利用现有数据的先验信息，也是十分重要的。针对此问题，本文在已有的元训练数据集上进行了全分类的预训练，从而对元学习过程的模型进行参数初始化，实验结果证明了预训练操作的合理性。在实际的SAR飞机识别数据集上的实验结果证明了该方法的有效性。改进后的方法在5-way 1-shot 和5-way 5-shot任务上的识别精度分别提高3.85%和3.42%，并在对比的主流算法中取得了最高精度。后续工作将和SAR目标的检测过程结合，研究当SAR图像视角变化时，如何提升检测和识别性能的泛化性。
-
图 3 不同机型不同聚类点数下的散射点提取结果
Figure 3. Scattering point extraction results for different models and different clustering points
图 4 不同朝向的同型号飞机对应的离散因子
Figure 4. Discrete factors corresponding to the same type of aircraft with different orientations
图 8 SAR-ACD中的民用飞机及其对应的光学图像
Figure 8. Civil aircraft in SAR-ACD and their corresponding optical images
图 10 不同方法对应的卷积层输出特征图可视化
Figure 10. Visualization of corresponding layer feature map of different methods
图 11 不同训练数据占比时的测试准确率
Figure 11. Test accuracy with different proportions of training data
图 12 预训练阶段基本原理和流程展示
Figure 12. The basic principle and process display of the pre-training stage
图 13 5-way 1-shot条件下在元测试数据集上不同模块的混淆矩阵
Figure 13. Confusion matrix on meta-test dataset on the 5-way 1-shot condition
图 14 5-way 1-shot条件下不同方法模块的训练损失变化曲线
Figure 14. The loss curve with different modules during training on the 5-way 1-shot condition
图 15 大场景复杂机场下的识别性能测试
Figure 15. Recognition performance test under large scene and complex airport
表 1 实验中训练和测试期间数据设置
Table 1. Data setup during training and testing
设置 5-way 5-shot 5-way 1-shot 支持集 查询集 支持集 查询集 元训练 5 15 1 15 元测试 5 15 1 15 
下载: 导出CSV
表 2 自适应特征细化模块和散射关联分类器的消融实验
Table 2. Ablation study on adaptive feature refinement module and scattering association module
散射关联分类器 自适应特征细化模块 5-way 1-shot (%) 5-way 5-shot (%) × × 56.05 ± 0.8 66.71 ± 0.7 × √ 57.57 ± 0.9 67.80 ± 0.7 √ × 58.31 ± 0.9 68.20 ± 0.7 √ √ 58.43 ± 0.8 68.52 ± 0.7
下载: 导出CSV
表 3 结合预训练过程的消融实验
Table 3. Ablation study combined with the pre-training process
散射关联分类器 自适应特征细化模块 5-way 1-shot (%) 5-way 5-shot (%) × × 57.33 ± 0.9 67.60 ± 0.7 × √ 58.86 ± 0.8 68.72 ± 0.7 √ × 59.60 ± 0.9 68.85 ± 0.7 √ √ 59.90 ± 0.9 70.13 ± 0.7
下载: 导出CSV
-
[1] DONG Ganggang and KUANG Gangyao. Classification on the monogenic scale space: Application to target recognition in SAR image[J]. IEEE Transactions on Image Processing, 2015, 24(8): 2527–2539. doi: 10.1109/TIP.2015.2421440 [2] NOVAK L M, OWIRKA G L, and BROWER W S. Performance of 10-and 20-target MSE classifiers[J]. IEEE Transactions on Aerospace and Electronic Systems, 2000, 36(4): 1279–1289. doi: 10.1109/7.892675 [3] WAGNER S A. SAR ATR by a combination of convolutional neural network and support vector machines[J]. IEEE Transactions on Aerospace and Electronic Systems, 2016, 52(6): 2861–2872. doi: 10.1109/TAES.2016.160061 [4] 康健, 王智睿, 祝若鑫, 等. 基于监督对比学习正则化的高分辨率SAR图像建筑物提取方法[J]. 雷达学报, 2022, 11(1): 157–167. doi: 10.12000/JR21124KANG Jian, WANG Zhirui, ZHU Ruoxin, et al. Supervised contrastive learning regularized high-resolution synthetic aperture radar building footprint generation[J]. Journal of Radars, 2022, 11(1): 157–167. doi: 10.12000/JR21124 [5] HE Chu, TU Mingxia, XIONG Dehui, et al. Adaptive component selection-based discriminative model for object detection in high-resolution SAR imagery[J]. ISPRS International Journal of Geo-Information, 2018, 7(2): 72. doi: 10.3390/ijgi7020072 [6] KANG Yuzhuo, WANG Zhirui, FU Jiamei, et al. SFR-Net: Scattering feature relation network for aircraft detection in complex SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 5218317. doi: 10.1109/TGRS.2021.3130899 [7] 赵鹏菲, 黄丽佳. 一种基于EfficientNet与BiGRU的多角度SAR图像目标识别方法[J]. 雷达学报, 2021, 10(6): 895–904. doi: 10.12000/JR20133ZHAO Pengfei and HUANG Lijia. Target recognition method for multi-aspect synthetic aperture radar images based on EfficientNet and BiGRU[J]. Journal of Radars, 2021, 10(6): 895–904. doi: 10.12000/JR20133 [8] ZHANG Jinsong, XING Mengdao, and XIE Yiyuan. FEC: A feature fusion framework for SAR target recognition based on electromagnetic scattering features and deep CNN features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(3): 2174–2187. doi: 10.1109/TGRS.2020.3003264 [9] HUANG Zhongling, DATCU M, PAN Zongxu, et al. Deep SAR-Net: Learning objects from signals[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 161: 179–193. doi: 10.1016/j.isprsjprs.2020.01.016 [10] YANG Yue, ZHANG Zhuo, MAO Wei, et al. Radar target recognition based on few-shot learning[J]. Multimedia Systems, 2021: 3. doi: 10.1007/s00530-021-00832-3 [11] CAO Changjie, CUI Zongyong, CAO Zongjie, et al. An integrated counterfactual sample generation and filtering approach for SAR automatic target recognition with a small sample set[J]. Remote Sensing, 2021, 13(19): 3864. doi: 10.3390/rs13193864 [12] GUO Jiayi, LEI Bin, DING Chibiao, et al. Synthetic aperture radar image synthesis by using generative adversarial nets[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(7): 1111–1115. doi: 10.1109/LGRS.2017.2699196 [13] RADFORD A, METZ L, and CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. arXiv preprint arXiv: 1511. 06434v1, 2015. [14] CUI Zongyong, ZHANG Mingrui, CAO Zongjie, et al. Image data augmentation for SAR sensor via generative adversarial nets[J]. IEEE Access, 2019, 7: 42255–42268. doi: 10.1109/ACCESS.2019.2907728 [15] KUSK A, ABULAITIJIANG A, and DALL J. Synthetic SAR image generation using sensor, Terrain and target models[C]. EUSAR 2016: 11th European Conference on Synthetic Aperture Radar, Hamburg, Germany, 2016: 1–5. [16] LIN Zhao, JI Kefeng, KANG Miao, et al. Deep convolutional highway unit network for SAR target classification with limited labeled training data[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(7): 1091–1095. doi: 10.1109/LGRS.2017.2698213 [17] 喻玲娟, 王亚东, 谢晓春, 等. 基于FCNN和ICAE的SAR图像目标识别方法[J]. 雷达学报, 2018, 7(5): 622–631. doi: 10.12000/JR18066YU Lingjuan, WANG Yadong, XIE Xiaochun, et al. SAR ATR based on FCNN and ICAE[J]. Journal of Radars, 2018, 7(5): 622–631. doi: 10.12000/JR18066 [18] PAN Zongxu, BAO Xianjie, ZHANG Yueting, et al. Siamese network based metric learning for SAR target classification[C]. IGARSS 2019–2019 IEEE International Geoscience and Remote Sensing Symposium, Yokohama, Japan, 2019: 1342–1345. [19] MA Yu, LIANG Yan, ZHANG Wanying, et al. SAR target recognition based on transfer learning and data augmentation with LSGANs[C]. 2019 Chinese Automation Congress (CAC), Hangzhou, China, 2019: 2334–2337. [20] WANG Ke, ZHANG Gong, and LEUNG H. SAR target recognition based on cross-domain and cross-task transfer learning[J]. IEEE Access, 2019, 7: 153391–153399. doi: 10.1109/ACCESS.2019.2948618 [21] ZHANG Wei, ZHU Yongfeng, and FU Qiang. Semi-supervised deep transfer learning-based on adversarial feature learning for label limited SAR target recognition[J]. IEEE Access, 2019, 7: 152412–152420. doi: 10.1109/ACCESS.2019.2948404 [22] KANG Chenyao and HE Chu. SAR image classification based on the multi-layer network and transfer learning of mid-level representations[C]. 2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Beijing, China, 2016: 1146–1149. [23] HUANG Zhongling, PAN Zongxu, and LEI Bin. What, where, and how to transfer in SAR target recognition based on deep CNNs[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(4): 2324–2336. doi: 10.1109/TGRS.2019.2947634 [24] DU Lan, CAO Lanying, and LIU Hongwei. Few-shot learning neural network for SAR target recognition[C]. 2019 6th Asia-Pacific Conference on Synthetic Aperture Radar (APSAR), Xiamen, China, 2019: 1–4. [25] WANG Ke, ZHANG Gong, XU Yanbing, et al. SAR target recognition based on probabilistic meta-learning[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(4): 682–686. doi: 10.1109/LGRS.2020.2983988 [26] FU Kun, ZHANG Tengfei, ZHANG Yue, et al. Few-shot SAR target classification via metalearning[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 2000314. doi: 10.1109/TGRS.2021.3058249 [27] DIEMUNSCH J R and WISSINGER J. Moving and stationary target acquisition and recognition (MSTAR) model-based automatic target recognition: Search technology for a robust ATR[C]. The SPIE 3370, Algorithms for Synthetic Aperture Radar Imagery V, Orlando, FL, USA, 1998: 481–492. [28] FU Kun, FU Jiamei, WANG Zhirui, et al. Scattering-Keypoint-Guided network for oriented ship detection in high-resolution and large-scale SAR images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 11162–11178. doi: 10.1109/JSTARS.2021.3109469 [29] GUO Qian, WANG Haipeng, and XU Feng. Scattering enhanced attention pyramid network for aircraft detection in SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(9): 7570–7587. doi: 10.1109/TGRS.2020.3027762 [30] HOU Xiyue, AO Wei, SONG Qian, et al. FUSAR-Ship: building a high-resolution SAR-AIS matchup dataset of Gaofen-3 for ship detection and recognition[J]. Science China Information Sciences, 2020, 63(4): 140303. doi: 10.1007/s11432-019-2772-5 [31] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. The 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770–778. [32] FINN C, ABBEEL P, and LEVINE S. Model-agnostic meta-learning for fast adaptation of deep networks[C]. 34th International Conference on Machine Learning, Sydney, Australia, 2017: 1126–1135. [33] VINYALS O, BLUNDELL C, LILLICRAP T, et al. Matching networks for one shot learning[C]. The 30th International Conference on Neural Information Processiing Systems, Red Hook, USA, 2016: 3637–3645. [34] SNELL J, SWERSKY K, and ZEMEL R S. Prototypical networks for few-shot learning[C]. 31st International Conference on Neural Information Processing Systems, Red Hook, USA, 2017: 4080–4090. 期刊类型引用(10)
1. 曹婧宜，张扬，尤亚楠，王亚敏，杨峰，任维佳，刘军. 基于图网络与不变性特征感知的SAR图像目标识别方法. 雷达学报(中英文). 2025(02): 366-388 . 
百度学术2. 张翼鹏，卢东东，仇晓兰，李飞. 基于散射点拓扑和双分支卷积神经网络的SAR图像小样本舰船分类. 雷达学报. 2024(02): 411-427 . 
本站查看3. 罗汝，赵凌君，何奇山，计科峰，匡纲要. SAR图像飞机目标智能检测识别技术研究进展与展望. 雷达学报. 2024(02): 307-330 . 本站查看4. 马晓萌，冯舒文，原昊，张鹏宇，沈永健. 基于深度学习的雷达目标识别算法评估系统设计. 遥测遥控. 2024(03): 24-34 . 百度学术5. 万烜申，刘伟，牛朝阳，卢万杰. 基于动量迭代快速梯度符号的SAR-ATR深度神经网络黑盒攻击算法. 雷达学报. 2024(03): 714-729 . 本站查看6. 何奇山，赵凌君，计科峰，匡纲要. 面向SAR目标识别成像参数敏感性的深度学习技术研究进展. 电子与信息学报. 2024(10): 3827-3848 . 百度学术7. 王智睿，康玉卓，曾璇，汪越雷，张汀，孙显. SAR-AIRcraft-1.0：高分辨率SAR飞机检测识别数据集. 雷达学报. 2023(04): 906-922 . 本站查看8. 许延龙，潘昊，丁柏圆. 基于深度信念网络的属性散射中心匹配及在SAR图像目标识别中的应用. 液晶与显示. 2023(11): 1511-1520 . 百度学术9. 叶子琦，肖夏阳，李刚田，王海鹏. 面向小样本的SAR图像飞机目标分类方法. 遥感信息. 2023(06): 60-67 . 百度学术10. 顾丹丹，廖意，王晓冰. 雷达目标特性知识引导的智能识别技术进展与思考. 制导与引信. 2022(04): 57-64 . 百度学术其他类型引用(4)
-
下载:
百度学术
计量
- 文章访问数: 2374
- HTML全文浏览量: 2053
- PDF下载量: 461
- 被引次数: 14
