Loading [MathJax]/jax/output/SVG/jax.js

基于快速异源配准的高分辨率SAR影像海岛区域正射校正

向俞明 滕飞 王林徽 焦念刚 王峰 尤红建

向俞明, 滕飞, 王林徽, 等. 基于快速异源配准的高分辨率SAR影像海岛区域正射校正[J]. 雷达学报(中英文), 2024, 13(4): 866–884. doi: 10.12000/JR24022
引用本文: 向俞明, 滕飞, 王林徽, 等. 基于快速异源配准的高分辨率SAR影像海岛区域正射校正[J]. 雷达学报(中英文), 2024, 13(4): 866–884. doi: 10.12000/JR24022
XIANG Yuming, TENG Fei, WANG Linhui, et al. Orthorectification of high-resolution SAR images in island regions based on fast multimodal registration[J]. Journal of Radars, 2024, 13(4): 866–884. doi: 10.12000/JR24022
Citation: XIANG Yuming, TENG Fei, WANG Linhui, et al. Orthorectification of high-resolution SAR images in island regions based on fast multimodal registration[J]. Journal of Radars, 2024, 13(4): 866–884. doi: 10.12000/JR24022

基于快速异源配准的高分辨率SAR影像海岛区域正射校正

DOI: 10.12000/JR24022 CSTR: 32380.14.JR24022
基金项目: 中国科学院前沿科学重点研究计划(ZDBS-LY-JSC036),国家自然科学基金(61901439)
详细信息
    作者简介:

    向俞明,博士,副研究员,主要研究方向为SAR影像配准、异源遥感影像配准、遥感影像三维重建

    滕 飞,博士,助理研究员,主要研究方向为SAR成像处理与信息提取

    王林徽,博士生,主要研究方向为雷达图像解译、卫星图像边缘计算

    焦念刚,博士,助理研究员,主要研究方向为遥感影像几何处理

    王 峰,博士,副研究员,研究方向为多源遥感影像精细化处理

    尤红建,博士,研究员,主要研究方向为SAR影像配准、遥感影像几何精准处理等

    通讯作者:

    向俞明 xiangym@aircas.ac.cn

  • 责任主编:毕辉 Corresponding Editor: BI Hui
  • 11 数据来源于天仪遥感数据中心 https://data.spacety.com
  • 中图分类号: TP751

Orthorectification of High-resolution SAR Images in Island Regions Based on Fast Multimodal Registration

Funds: Key Research Program of Frontier Sciences, Chinese Academy of Sciences (ZDBS-LY-JSC036), The National Natural Science Foundation of China (61901439)
More Information
  • 摘要: 随着高分辨率合成孔径雷达(SAR)卫星的陆续发射,对天气条件多变的海岛区域进行全天候、全时段的高精度观测已变得可行。作为多种遥感应用的关键前置步骤正射校正,依赖于高精度控制点来纠正SAR影像的几何定位误差。然而,在海岛区域获取符合SAR校正要求的人工控制点不仅成本高,且风险大。为了应对这一挑战,该文首先提出了一种光学与SAR异源影像的快速配准算法,然后基于光学参考底图自动提取控制点,实现了海岛区域SAR影像的正射校正。所提出的配准算法分为两个阶段:首先构建异源影像的共性密集特征,然后在降采样后的特征上进行逐像素匹配,避免了异源影像特征点重复性低的问题。为了降低匹配复杂度,引入了海陆分割掩模以限定搜索范围。接着,对初步匹配点进行局部精细匹配,以减少降采样带来的不准确性。同时,引入海岸线均匀采样点以提升匹配结果的均匀性,并通过分段线性变换模型生成正射影像,确保了稀疏岛屿区域的整体校正精度。该算法在多景海岛区域的高分辨率SAR影像上表现出色,平均定位误差为3.2 m,整景校正时间仅需17.3 s,均优于现有多种先进的异源配准与校正算法,显示出其在工程应用中的巨大潜力。

     

  • 海岛区域因其独特的地理位置和环境特性,成为生态保护[1]、灾害预警[2]、资源调查[3]和军事监控[4]研究的重点对象。然而,由于海岛远离大陆,且部分区域位于敏感地带,不受地域限制的遥感观测成为研究海岛区域的主要技术手段。光学遥感卫星因受云层和天气影响,难以及时获得所需的高分辨率影像。相比之下,合成孔径雷达(Synthetic Aperture Radar, SAR)卫星主动发射脉冲信号,利用物体反射的雷达波信号生成图像,其主动成像能力使其能够在夜间和恶劣天气条件下获取高质量图像。近年来,由自然资源部主持建造的高分三号及其02/03星作为海洋业务卫星,能够获取高分辨率、多极化、大幅宽的海陆观测数据,并通过卫星组网运行提高重访频率,以满足对海岛区域快速变化情况的监测需求[5,6]

    正射校正是遥感观测应用的基础步骤,通过消除SAR卫星轨道、电子时延、大气延迟等不确定性引入的几何定位误差,结合高精度的数字高程模型(Digital Elevation Model, DEM)将斜距SAR影像映射到地理参考中[7]。传统的SAR正射校正依赖于高精度的角反射器作为控制点,但角反射器价格昂贵,位置固定,难以针对零星的海岛进行布设。随着光学和SAR异源配准技术的不断发展[8-11],基于光学底图的SAR影像正射校正得到了广泛应用[12,13]。然而,目前的异源配准技术大多关注陆地场景,鲜有针对海岛区域的研究。海岛区域SAR影像因其特殊性为异源配准和正射校正带来了新的挑战:

    (1) 海岛区域的SAR影像受到海浪的影响,相干斑噪声呈现出较大的非平稳性,导致空间可视性较差[5]。如图1所示,SAR影像中不仅海面存在着显著的海杂波,海岸线也因海浪产生了高亮散射信息和阴影,显著增加了海陆分割的难度。针对海岛区域的光学影像正射校正方法多采用海岸线提取和匹配流程[14,15]。然而,海杂波和SAR几何畸变使得高分辨率SAR影像的海岸线提取面临巨大挑战[16],导致基于海岸线提取匹配的校正方法性能显著下降。

    图  1  海岛区域SAR影像与光学底图的海岸线对比展示(黄线为OpenStreetMap开源海岸线矢量)
    Figure  1.  The comparison display of coastlines between SAR images of island regions and optical base maps (the yellow line delineates the coastline obtained form OpenStreetMap)

    (2) SAR接收机的增益控制决定了原始回波的动态范围。通常通过手动增益控制(Manual Gain Control, MGC)设定增益参数,参数设置的合理性直接影响最终图像质量。在星载SAR成像任务中,MGC参数常根据区域经验值设定为固定值。由于海岛区域图像包含大面积海洋,难以找到同时适合陆地和海洋的MGC值,导致图像容易出现过饱和或欠饱和现象。这种情况在星上获取回波时已存在,地面处理无法补偿。如图2所示,不合理的增益设置导致SAR影像过饱和或欠饱和,增加了与光学影像的辐射差异,给配准算法设计带来挑战。

    图  2  海岛区域SAR影像与光学底图的辐射对比展示
    Figure  2.  The radiance comparison display between SAR images of island regions and optical base maps

    (3) 正射校正精度与控制点分布密切相关。海岛通常仅占整景影像的少数区域,且形状不规则。如何在稀疏的海岛区域获取高精度且均匀分布的控制点,实现正射校正,是当前面临的问题。

    为解决上述问题,本文提出一种双阶段光学和SAR异源影像快速配准算法。首先构建辐射不变的密集结构特征,以应对异源影像的显著辐射差异;然后在降采样后的密集结构特征上进行逐像素匹配,自动获取置信度高的匹配点;接着在局部邻域中提升匹配精度,减少降采样引入的不确定性;最后,利用匹配点和海岸线采样点的分段线性变换模型实现正射校正。本文的主要贡献包括:

    (1) 提出了一种无需提取特征点的双阶段异源影像快速配准算法,避免了海岛区域特征点分布不均匀和异源影像特征点重复率低的问题。

    (2) 在第1阶段利用海陆分割掩模限制匹配搜索空间,显著提升匹配效率和成功率。在第2阶段将海岸线均匀采样点加入匹配点,提升匹配点的均匀分布特性。

    (3) 提出算法在多个海岛区域的高分辨率SAR影像上进行了测试,校正精度和处理时间优于多种先进的异源配准和校正算法。

    在本节中,我们首先对2018年以来学者提出的光学与SAR异源配准算法进行了综述。鉴于目前针对SAR影像海岛区域正射校正的研究较为有限,我们的回顾不仅涵盖了SAR载荷,也包括了可见光影像。

    由于光学和SAR载荷在地物分类[17]、变化检测[18]等多源遥感任务中具有互补的观测特性,光学与SAR影像配准显得尤为重要,其算法大致可分为两类:全局方法和局部方法。

    全局方法遵循计算机视觉领域的成熟框架,涵盖了特征点检测、特征点描述、特征点匹配以及变换模型估计等步骤。针对异源影像之间的显著差异,全局方法通过设计独特的特征来确保影像间的尺度、旋转和辐射不变性。Li等人[19]基于相位一致性的最大和最小矩来检测关键点,并构建了基于方向排序直方图的鲁棒描述子,以实现辐射不变的全局匹配。Fan等人[20]采用基于非线性扩散的Harris-Laplace检测器来检测分布良好的关键点,并提出了多尺度自适应分区的相位一致性描述符,以增强对辐射变化的鲁棒性。Xiang等人[8]提出了根据传感器定制的一致性梯度计算符,然后使用梯度位置方向直方图描述符来匹配多尺度角点。Fan等人[21]专注于高斯尺度空间中的显著点检测,通过数据池化操作与多方向滤波卷积构建旋转不变的特征描述符。Zhu等人[22]通过多通道自相关与Log-Gabor小波增强关键点的重复性,并结合最大方向索引与DAISY结构,提高了对辐射和旋转变化的抵抗力。Xiong等人[23]提出了一种鲁棒的特征表达方法,即相邻自相似性,并研究了相应的特征检测器和描述符。

    除了手工设计方法,深度神经网络因其强大的特征表达能力,已逐渐被应用于全局方法中的多个环节。例如,Liao等人[24]提出了一种复杂的卷积网络,该网络包含多个密集卷积模块和跨阶段结构,用以替代传统的特征描述符。Xiang等人[25]训练了伪孪生网络以替代特征描述符,并在FAST关键点上执行匹配。Quan等人[26]提出了一种旨在增强特征区分度的深度特征网络。Xu等人[27]提出了基于DenseNet的局部深度描述符,并利用孪生网络进行预训练,随后通过伪孪生网络进行参数微调。Cui等人[28]用卷积网络替代了特征检测和描述,以整合全局空间信息和局部细节信息。杨玉婷等人[29]设计了一个强化位置感知的深度学习网络,直接回归光学和SAR影像之间的全局变换关系。蓝朝桢等人[30]提出利用卷积神经网络提取异源影像的特征点和描述符,然后进行全局匹配搜索和误匹配剔除。Zhang等人[31]利用深度卷积网络提取多尺度不变特征,并结合Transformer注意力机制来学习特征的详细表达和远程建模能力,实现模态独立一致性匹配。全局方法的优势在于能够处理待匹配影像之间较大的相对定位误差,但其面临的最大挑战是关键点的重复性较低,尤其是对成像机理不同的光学和SAR影像。

    局部方法依赖于遥感影像的地理坐标来获取初始对应区域,并在预定义的范围内搜索对应关系。近年来,局部方法的研究重点从早期基于相似性优化的方法转向频域加速的模板匹配。尤红建等人[32]提出分别对光学和SAR影像使用Sobel和ROA梯度计算符,然后基于梯度结果进行归一化互相关匹配。王蒙蒙等人[33]提出了基于梯度方向的结构特征,Ye等人[34]在此基础上实现了基于空间约束的频域快速匹配。Xiang等人[35]提出了基于逐像素一致性梯度的高维结构特征,实现了基于三维相位相关的亚像素级匹配。深度学习网络也开始在局部方法中发挥出优异的特征表达能力。Zhang等人[36]提出了一种多级特征融合网络,用以捕捉浅层细粒度特征和高层语义特征,并结合特征通道激励模块来生成多样的匹配特征。Liu等人[37]训练了一个特征金字塔网络来提取多尺度特征,并将模板匹配转化为回归任务。由于局部方法仅在参考图像中检测关键点,然后在预设范围内搜索对应,从而避免了特征检测重复性低的问题。但考虑到卫星定位精度的不确定性,如何确定合适的搜索范围以保持匹配的可靠性和效率成为一个关键问题。

    此外,一些研究者通过融合全局和局部方法,构建了双阶段的配准框架。Xiang等人[9]提出了一个两阶段算法,用于匹配大场景图像;在第1阶段首先纠正了显著的水平定位误差;在第2阶段进一步增强匹配精度。Fan等人[38]在粗匹配阶段采用全局方法估计仿射模型,随后提出了一种结合Log-Gabor卷积和三维相位相关的模板匹配方法。Quan等人[39]首先训练了一个深度序数回归网络以解决旋转差异,接着利用深度描述网络来解决模态变化。Cao等人[40]提出在预训练网络的最深层应用密集模板匹配来提取粗略的对应关系,随后通过由粗到细的逐层细化来实现高质量匹配点的获取。本文提出的算法同样采用了双阶段配准方法,不仅能有效解决SAR影像初始定位误差较大的问题,还针对海岛区域进行了算法优化。

    鉴于目前针对SAR影像海岛区域正射校正的研究较少,本文同时对可见光影像海岛正射校正的相关算法进行了回顾。Eugenio等人[41]利用海岸线轮廓匹配算法提取高置信度控制点,以纠正高分光学影像。刘善伟[42]针对高分光学影像海岛海岸带区域缺乏控制点的问题,提出了结合DEM进行二次精修的几何精校正方法。Dong等人[43]采用快速行进算法提取海岸线,并基于曲率匹配实现SPOT光学影像的正射校正。Mutaqin等人[44]分析了不同格网DEM对无人机海岛影像正射校正精度的影响。张靓等人[45]基于波谱分析和颜色分割提取参考图和待校正影像的海岸线,并将两种岸线进行配准以实现几何精校正。张艳等人[46]基于轨道外推的无控定位技术,提升了高分光学影像海岛区域的几何精度。Misra等人[47]提出了一种适用于稀疏海岛场景的光学影像正射校正算法,通过各向异性相干增强影像以改善岛屿区域的局部特征提取效果,从而改进与参考图的特征匹配。上述方法多数针对光学影像的特点进行了研究,但光学载荷在海岛区域易受云层和多变天气的影响,存在一定的局限性。本文则基于全天时全天候观测的SAR影像,深入分析了海岛区域SAR影像的特点,提出了一种快速且鲁棒的正射校正算法。

    在本节中,我们对所提出的双阶段配准及正射校正方法进行了详尽的阐述。整体流程如图3所示。首先,在SAR地理编码影像与参考底图的三维特征立方体上执行逐像素匹配,以获取全局匹配点。随后,结合海岸线均匀采样点,对匹配点进行精细化处理,以获得均匀分布的控制点,进而用于校正SAR影像。

    图  3  本文所提双阶段配准及正射校正方法的算法流程图
    Figure  3.  The algorithm flowchart of the two-stage registration and orthorectification method mentioned in this paper
    3.1.1   地形几何校正

    借助遥感影像地理坐标之间的关联性,首先获取具有共同区域的地理编码影像。鉴于SAR影像的侧视成像机制,我们采用了通用的有理数函数模型来对SAR影像进行地形几何校正。这个模型通过两个高阶多项式方程来描述空间地理坐标(纬度、经度和高度)和图像坐标(行和列)之间的变换关系,如式(1)所示:

    xN=a(BN,LN,HN)b(BN,LN,HN),yN=e(BN,LN,HN)f(BN,LN,HN) (1)

    其中,x, y代表图像横、纵坐标,B, L, H代表空间地理坐标,H=DEM(B,L)是从DEM中提取的高程值。下标N代表归一化操作,通过缩放和偏移将所有坐标归一化到–1到1之间来保证多项式拟合的稳定性。每个多项式方程包含了20个系数,如式(2)所示:

    p(B,L,H)=p0+p1H+p2L+p3B+p4HL+p5HB+p6LB+p7B2+p8L2+p9H2+p10HLB+p11H2L+p12H2B+p13L2H+p14L2B+p15HB2+p16LB2+p17H3+p18L3+p19B3 (2)

    其中,p∈{a, b, e, f}。地理编码影像中每个像素的地理坐标可以通过有理函数模型转换为SAR斜距图像坐标。随后,通过图像插值计算对应像素的幅度值。然而,由于SAR载荷轨道、电子时延、大气延迟等因素引起的有理多项式系数不精确,SAR地理编码影像与光学底图之间可能存在较大偏移。为了应对这一未知偏移问题,在第1阶段采用全局匹配方法成为一种更有效的策略。与局部方法不同,全局匹配方法不依赖于预先设定的搜索范围,而是在所有特征点之间寻找对应关系,从而提供了对不同场景的适应性。然而,全局方法面临着异源影像中特征点重复性低的问题。为此,我们提出了一种在待匹配影像的特征三维立方体上进行逐像素匹配的方法,摒弃了传统的先检测特征点再匹配的流程。这种方法不仅避免了特征点重复性低的问题,而且能够自动地在最适宜的匹配区域中获取对应点。

    3.1.2   全局结构特征构建

    鉴于异源影像之间的显著辐射差异,本文采用了先前研究中提出的全局结构特征[10]作为基础来构建逐像素特征立方体,以确保所构建特征在不同域间的一致性和表达能力。在处理待匹配影像时,首先利用二维Log-Gabor滤波器对图像进行卷积来生成多尺度和多方向的特征响应。值得注意的是,对于SAR图像,卷积操作是通过子窗口卷积比来完成的,这一方法能有效克服乘性斑点噪声的干扰,具体操作如式(3)所示:

    FOPTn,d=(IOPTfen,d)2+(IOPTfon,d)2,FSARn,d=(ln(|ISARfe+n,d|/|ISARfen,d|))2+(ln(|ISARfo+n,d|/|ISARfon,d|))2 (3)

    其中,d, n分别代表滤波器组的方向和尺度,fen,d, fon,d分别表示Log-Gabor滤波器的偶对称和奇对称空间域形式,表示卷积运算,+和–代表了SAR卷积运算模板中的两个子窗口。基于多尺度和多方向的特征响应,我们进一步聚合所有尺度的响应,然后提取出方向维度上最大响应对应的索引值,具体操作如下:

    {FOPTin=index(maxdnFOPTn,d)FSARin=index(maxdnFSARn,d) (4)

    通过上述计算过程,我们能够从光学和SAR影像中提取出具有高度一致性的方向索引特征。同时采用相同参数的滤波器组确保了空间处理域的一致性。这不仅保证了构建的特征对辐射差异具有不变性,也增强了对斑点噪声的鲁棒性,为后续的特征描述奠定了坚实的基础。接下来对于每个像素,我们将其周围的96像素×96像素区域划分为36个16像素×16像素的子区域。对每个子区域的方向索引进行直方图统计,形成一个D维的特征向量。将这36个子区域的特征向量按照它们在空间中的位置关系进行连接,便能得到该像素的36×D维特征描述符(其中D为滤波器组的方向数量)。

    3.1.3   基于海陆分割掩模的逐像素匹配

    为了提高匹配效率和置信度,我们在原始分辨率下计算地理编码影像和参考底图的方向索引特征,以保留更多的细节信息。随后,在原始分辨率的1/8层级上计算三维特征立方体,即在构建过程中以步长为8进行逐像素计算,从而增强了特征描述的表达能力。基于待匹配影像的特征立方体,我们通过计算特征向量的最小欧氏距离来进行逐像素的匹配点搜索。假设参考底图和地理编码SAR图像的共同区域大小为W×H,三维特征立方体VOPT, VSAR的待搜索区域尺寸则为W/8×H/8。我们以VOPT为基准,在VSAR中搜索,寻找VOPT中每个像素的最佳匹配点。初始匹配通过计算特征描述符的最小欧氏距离来获得,然后根据最近邻距离比(Nearest Neighborhood Distance Ratio, NNDR)来初步去除误匹配。

    尽管搜索过程是在降采样后的三维特征立方体上执行的,但逐像素的欧氏距离计算需要进行(W×H×W×H)/4096次运算,这一处理过程相当耗时。考虑到海岛在影像中所占比例较小,而大部分海面属于难以匹配的弱纹理区域,理论上不应存在匹配点。为了提升匹配效率并去除海面干扰,我们提出了利用海陆分割掩模来辅助逐像素匹配点搜索的方法。对于光学参考底图,我们直接采用OpenStreetMap开源海岸线矢量来构建光学海陆掩模MaskOPT;对于地理编码SAR影像,我们采用Otsu算法[48]来进行快速海陆分割,得到SAR海陆掩模MaskSAR。随后对海岸线掩模进行形态学开运算,以消除零碎的提取结果。由于海岸线掩模在本文算法中仅作为逐像素匹配的辅助工具,我们对海岸线提取精度没有特殊要求,因此选择了处理效率较高的算法。一组测试区域的海岛SAR和光学影像海陆掩模如图4所示,可以看出SAR影像海陆掩模虽然边界不够精确,但能够大致描绘岛屿的形状。基于海陆掩模的逐像素匹配过程只需要(MaskOPT==1×MaskSAR==1)/4096次运算,相比于原始运算数大幅减少;并且搜索范围被限定在岛屿区域,排除了海杂波引入的干扰。最后,对所有匹配点执行随机一致性去除(RANdom SAmple Consensus, RANSAC)以去除误匹配。

    图  4  海岛区域SAR影像与光学底图海陆掩模结果
    Figure  4.  The land-sea mask results of SAR images and optical base maps in island regions
    3.2.1   局部结构特征构建

    在全局匹配过程中,我们能够获得光学和SAR影像中最适宜匹配区域的对应点。然而,由于这些匹配点是在原始分辨率的1/8尺度上得到的,它们的精度受到一定限制。因此,我们提出了一种局部算法来进一步提高匹配精度。同样,我们对SAR影像进行了再次地形校正,这次采用了基于全局匹配控制点精化后的有理函数系数。此时,SAR地理编码影像与底图之间的偏移量与全局匹配的误差和降采样倍数有关,表示为8Eg。为了增强算法的容错能力,我们将全局匹配误差设定为2像素,从而得到搜索范围为16像素。

    全局匹配所使用的全局结构特征展现出了对辐射变化的鲁棒性以及强大的特征表达能力。然而,由于全局特征构建时包含了邻域信息以提高鲁棒性,它在区分局部区域内相邻匹配点方面的能力有限,因此不适用于局部区域的精细匹配。鉴于此,我们选用局部结构特征和归一化互相关(Normalized Cross Correlation, NCC)作为匹配度量。考虑到多方向各向异性高斯导数(Multi-directional Anisotropic Gaussian Derivatives, MAGD)在精确且全面描述强度变化和细微结构方面的能力,我们基于MAGD构建了局部结构特征,并直接计算其在不同方向上的最大响应,具体方法如式(5)所示:

    FOPTl=maxθ|IOPTGσ,ρ,θx+IOPTGσ,ρ,θx|FSARl=maxθ|ln(ISARGσ,ρ,θx+ISARGσ,ρ,θx)| (5)

    其中,Gσ,ρ,θ为旋转为θ角度的各向异性高斯核,σ为方差,ρ为各向异性因子。尽管上述局部特征的计算与全局特征中的方向索引在形式上相似,但它们之间存在关键差异。方位索引特征通过累积多尺度的卷积响应来增强其鲁棒性,而局部结构特征依赖于各向异性高斯导数来精确描述图像的精细结构,并采用较小的尺度参数以保持像素级别的特征区分度。

    3.2.2   局部快速匹配

    以全局匹配得到的控制点为中心,构建局部结构特征作为匹配目标。在搜索范围内,计算归一化互相关系数来识别最精确的匹配点,如式(6)所示:

    NCCdx,dy=(x,y)W(FOPTl(x,y)μOPT)(FSARl(x+dx,y+dy)μdx,dySAR)(x,y)W(FOPTl(x,y)μOPT)2(x,y)W(FSARl(x+dx,y+dy)μdx,dySAR)2 (6)

    其中,(x,y)表示匹配模板W中的像素坐标,dx, dy为局部匹配的x, y方向搜索范围,dx, dy∈[–16,+16]。为了减少计算复杂度,式(6)中的分子和分母可通过式(7)简化:

    (x,y)WFOPTl(x,y)FSARl(x+dx,y+dy)w2μOPTμdx,dySAR,((x,y)W(FOPTl(x,y))2w2(μOPT2)2)((x,y)W(FSARl(x+dx,y+dy))2w2(μdx,dySAR2)2) (7)

    其中,μOPT, μOPT2, μdx,dySAR, μdx,dySAR2分别代表匹配模板中各特征的均值。可以看出,μOPT, μOPT2与偏移量dx, dy无关,因此在搜索过程中只需计算一次。最大NCC系数对应的偏移量即为精化后的匹配结果。随后利用RANSAC算法筛选出正确的匹配点,以便估计后续的变换模型。

    为了进一步提高计算效率,本文算法中的基于有理多项式模型的地理编码、全局匹配的逐像素搜索以及局部匹配的NCC系数计算均在图形处理单元(Graphic Processing Unit, GPU)上进行加速。具体来说,SAR地理编码影像的空间范围由有理多项式模型的正向变换确定,随后斜距SAR影像、有理多项式系数、DEM等相关数据被传输至GPU显存。每个二维块负责处理地理编码图像中的单个像素,包括计算其对应的斜距坐标及进行图像插值以获取强度值。在全局匹配的逐像素搜索过程中,GPU上的二维块负责构建每个像素的全局结构特征,并基于方向索引特征的直方图构建三维特征立方体;接着计算两个三维特征立方体在海岛区域的逐像素欧氏距离,以此作为匹配相似性的度量。同样地,GPU上的二维块也负责构建待匹配影像中每个像素的多方向各向异性导数特征。对于全局匹配得到的控制点,每个二维块负责计算控制点的特征求和,采用Kogge-Stone加法器来降低求和的计算复杂度,从N个元素的求和降低到log2(N)。随后,在三维块上执行NCC系数的剩余计算,这一步骤需要在搜索范围内对每个偏移量进行迭代,同样应用了Kogge-Stone加法器。最终,通过确定全局匹配控制点的最大NCC系数,获得精细的匹配结果。

    在局部匹配之前,我们利用全局匹配控制点精化后的有理函数系数对SAR影像进行了再次的地形校正。鉴于本研究所采用的开源DEM格网大小为30 m,与SAR影像的分辨率存在较大差异,全局匹配控制点的精度已满足使用该DEM进行正射校正的需求。然而考虑到开源DEM的高程误差,SAR地理编码影像与参考底图之间仍然存在不可忽视的局部畸变。因此,本文采用了非线性变换模型—分段线性变换(Piecewise Linear, PL)[49],对SAR地理编码影像进行了进一步的校正。

    PL变换基于局部匹配精化得到的控制点,采用Delaunay三角剖分算法在参考底图与SAR地理编码影像中构建对应的三角区域。随后,SAR地理编码影像中的每个三角区域通过基于三角形顶点坐标估计的仿射变换进行局部纠正,以对应参考底图的区域。PL变换在三角形的凸包内以其精确和可靠的纠正性能而著称,但在凸包外的区域可能会产生严重的变形。图5(a)展示了仅使用匹配控制点进行变换的结果,明显可见在三角区域外出现了严重的变形如图5所示。

    图  5  原始分段线性变换与结合海岸线采样点的分段线性变换对比结果
    Figure  5.  Comparison results between the original piecewise linear transformation and the piecewise linear transformation combined with coastline sampling points

    因此,我们提出了一种结合海岸线均匀采样点的PL变换方法,其过程概括如下:(1)对开源海岸线矢量数据进行均匀采样,生成海岸线均匀采样点;(2)结合全局匹配控制点和海岸线均匀采样点进行局部精细匹配,获得进一步精化的控制点;(3)使用RANSAC算法估计整体仿射变换模型,并剔除误匹配点;(4)基于剔除误匹配后的控制点,采用Delaunay三角剖分方法构建三角网;(5)计算每个三角形的仿射变换模型,并完成凸包内部的仿射变换纠正;(6)对于Delaunay三角网凸包外的区域,使用整体仿射变换模型进行纠正,并将两个纠正结果组合形成最终的变换结果。如图5(b)所示,采用结合海岸线采样点的PL变换方法确保了海岛区域完全位于Delaunay三角网内部,有效消除了三角网外部的严重几何畸变,使得纠正后的SAR影像满足了正射校正的精度要求。

    在本节中,我们首先介绍了实验所用的测试数据、评估指标,以及用于对比分析的对比算法和参数配置。接着,展示了在测试数据上得到的定性和定量对比结果,以证明提出的算法在精度和效率方面的优势。最后,进行了消融实验,并讨论了算法的局限性。

    我们选用了1 m分辨率的谷歌影像作为光学底图,以及30 m格网的SRTM数据作为DEM。测试影像详细信息如表1所示,涵盖了4个区域的6组影像,覆盖了不同的成像视角和卫星载荷(包括高分三号卫星和海丝一号小卫星 1)。图6展示了4个测试区域的SAR影像及其对应的底图,其中绿色圆点代表本实验中人工选取的15个基准点对,这些点均匀分布在海岛的显著位置,如机场跑道角点、道路交叉点、堤岸拐点等,用于评估正射影像的定位误差,计算公式如下:

    表  1  待校正的SAR影像成像参数信息
    Table  1.  The imaging parameter information of the SAR image to be rectified
    测试区域卫星型号成像模式成像视角(°)波段采样间隔(m)影像尺寸(像素)
    A1高分三号滑动聚束41.2C0.56/0.3615616×29344
    A2高分三号滑动聚束21.4C0.56/0.318635×33560
    B高分三号滑动聚束39.3C0.56/0.3413660×32208
    C高分三号滑动聚束29.7C0.56/0.3310946×32032
    D1海丝一号滑动聚束28.0C0.31/0.179188×45875
    D2海丝一号滑动聚束28.8C0.31/0.3212748×22937
    下载: 导出CSV 
    | 显示表格
    图  6  4个测试区域的待纠正SAR影像和光学底图(底图上的绿点代表人工选取的基准点,均匀分布在图中的显著区域)
    Figure  6.  The SAR images to be corrected and the optical base maps for four test areas (the green dots on the base maps represent manually selected reference points, evenly distributed across the significant areas of the images)
    15i=1(xptirecxptibase)2+(yptirecyptibase)2/15 (8)

    即基准点坐标ptbase与正射校正点ptrec的像素均方根误差[10],考虑到参考底图为1 m分辨率,因此该误差乘以底图分辨率(1 m)即为定位误差(单位:m)。此外,我们还比较了不同异源配准算法获得的匹配点数量(在相同的误匹配剔除算法和剔除阈值下)以及全流程处理时间。除了上述3种定量指标外,我们还可视化展示了匹配点的分布特性,以及正射校正结果与光学底图叠加显示的棋盘网格图,以便进行更全面的定性比较。

    在本研究中,我们选取了3种先进的异源配准算法进行对比,包括SFOC (Steerable Filters of first- and second-Order Channels)算法[11], RIFT (Radiation-variation Insensitive Feature Transform)算法[19], 3MRS (Matching Method for Multimodal Remote Sensing imagery)算法[38]。此外,我们还选择了一种基于海岸线提取和匹配的遥感影像正射校正算法[43]作为对比。SFOC算法是一个基于C++开发的封装可执行程序, 而RIFT和3MRS算法则是MATLAB源码,海岸线提取和匹配算法是基于C++开发的。我们使用这些对比算法获取匹配点,并将匹配点作为控制点,用于SAR影像正射校正。上述对比算法仅在CPU上运行,而正射校正部分则是通过GPU实现的。对比算法的参数设置遵循了各自论文中推荐的最佳设置。

    对于本文提出的方法,我们将全局匹配中的NNDR和RANSAC阈值分别设置为0.95和3;Log-Gabor滤波器组采用了4个尺度和6个方向,与相位一致性的最佳设置一致;三维特征立方体的构建采用了96像素×96像素的邻域,划分为36个16像素×16像素子区域,这与RIFT论文中推荐的最优参数设置一致;全局匹配的降采样比率直接影响算法的处理效率和GPU显存需求,同时也与局部匹配的初始搜索范围成正比。综合考虑测试平台的GPU显存限制和算法处理效率,我们将降采样比例设定为8。局部匹配中的各向异性高斯核参数设置为θn=9, σ=1, ρ=2,以保留细粒度的结构特征;NCC系数的计算模板大小设定为200×200,这一参数在多个异源匹配方法[10,11]中已被广泛讨论,并被证明是平衡匹配准确性和效率的最佳选择。所有算法均在配备Intel i5-12500H (16线程,2.50 GHz)和NVIDIA GeForce RTX 2050的笔记本电脑上进行测试。

    对比算法生成的校正影像定位精度结果如表2所示。此外,还给出了算法在6组测试影像上的平均处理时间。结果显示,本文提出的算法在所有6组测试影像中均取得了最小的定位误差。相比之下,基于海岸线匹配的算法表现最弱。这是因为其精度主要依赖于SAR影像海岸线提取的准确性。受海浪和起伏岸礁的影响,如测试区域B所示,海岸线提取结果往往难以达到高精度匹配的要求,导致该算法在校正此景影像时失败。同样,测试区域A的第2景影像存在MGC增益设置不当和初始定位误差较大的问题,这也是海岸线匹配算法失效的主要原因。显然,海岸线匹配算法的鲁棒性较差,难以处理复杂场景下的海岛SAR影像。

    表  2  所有算法在6组测试影像上的定位误差(m)
    Table  2.  The positioning errors of all algorithms on six sets of test images (m)
    方法 A1 A2 B C D1 D2 平均处理时间(s)
    本文算法 1.82 2.98 3.65 5.50 2.81 2.45 17.3
    SFOC 2.10 / / 15.20 3.88 3.43 139.8
    RIFT 2.93 3.87 7.09 6.54 5.90 4.33 194.3
    3MRS 2.02 4.15 5.51 12.68 6.15 3.59 160.7
    海岸线匹配 8.71 / / 9.44 12.15 6.04 172.1
    注:/代表校正失败。
    下载: 导出CSV 
    | 显示表格

    相对而言,先进的异源配准算法展现出更高的鲁棒性和精度。RIFT和3MRS算法成功完成了所有测试影像的校正。RIFT是一种全局匹配算法,基于相位一致性检测特征点并构建特征描述子,具有较强的辐射不变性,因此在所有测试区域均实现了优于10 m的校正精度。3MRS算法是一种全局-局部双阶段匹配算法,同样依赖于相位一致性构建特征,具有一定的辐射不变性。这两种算法的精度主要受限于全局匹配较低的特征点重复率,导致最终匹配点数量无法满足均匀分布的要求,影响了正射校正模型的精度。SFOC算法作为一种局部匹配算法,难以处理较大初始误差的场景,如测试区域A2;同时,在地形起伏明显的区域,其构建的局部特征难以获取稳定匹配点,导致定位误差较大。然而,在人工结构丰富的平坦海岛区域,SFOC算法获得了最小的定位误差(在对比算法中),表明局部匹配算法在常规测试场景下能够取得优于全局匹配算法的结果。

    所有测试区域的匹配点数量如图7(a)所示。本文算法在所有测试区域的匹配点数量均达到了1000个以上,且点位分布均匀,有效覆盖了海岛的各个区域,如图8所示的匹配点分布图。利用这些匹配点能够精确纠正整个海岛区域的定位误差,显著提高校正影像的定位精度。相比之下,对比算法提取的匹配点数量相对较少,且分布不均,难以全面覆盖所有岛屿。特别是在匹配难度较大的测试区域B和区域C,对比算法的匹配点主要集中在部分区域,导致整体校正误差较大,这也与表2中的定量分析结果相吻合。

    图  7  所有算法在6组测试影像上的匹配点数量和全流程处理时间
    Figure  7.  The number of matching points and the total processing time for all algorithms on six sets of test images
    图  8  4个测试区域对比算法的匹配点分布结果(仅展示了在光学底图上的位置)
    Figure  8.  The distribution results of matching points for the comparison algorithms in four test areas (only showing the positions on the optical base maps)

    图9图12展示的棋盘格叠加结果及其局部放大图来看,对比算法生成的校正影像与参考底图之间存在一定偏移,尤其是在黄色矩形框标注的区域(如测试区域B的运动操场、测试区域C的机场跑道等)。除了评估定位误差,我们还展示了各测试区域中每个算法的处理效率,如图7(b)所示。在相同硬件配置的笔记本电脑上,本算法的平均处理时间为17.3 s,这一时间包括从单视复图像到正射校正图像的完整流程。与第2快速的SFOC算法相比,本算法的加速比达到了约8倍;与第2准确的RIFT算法相比,加速比达到了约11倍。本算法通过GPU实现,并利用海陆分割掩模排除了海面点的干扰,实现了高效的加速。在高性能服务器上,本算法的处理效率有望进一步提升,显示出其在工程应用中的巨大潜力。

    图  9  测试区域A1的匹配校正结果展示
    Figure  9.  The display of the matching and rectification results for test area A1
    图  10  测试区域B的匹配校正结果展示
    Figure  10.  The display of the matching and rectification results for test area B
    图  11  测试区域C的匹配校正结果展示
    Figure  11.  The display of the matching and rectification results for test area C
    图  12  测试区域D的匹配校正结果展示
    Figure  12.  The display of the matching and rectification results for test area D

    本算法在校正精度和校正效率方面均达到了最优水平,其原因在于:(1)算法通过在全局结构特征上自动搜索最相似区域的初始对应点,进而结合海岸线均匀采样点来精细化匹配精度。与传统的特征检测和匹配流程不同,本算法不受特征点低重复率的限制,并且通过引入海岸线采样点显著提高了匹配点的均匀分布性。(2)通过使用海陆分割掩模来排除海面点的干扰,不仅减少了计算复杂度,还有效避免了海杂波导致的误匹配。(3)算法在GPU上的实现显著提高了处理速度,从而提升了整体的校正效率。

    在本节中,我们对本算法的主要贡献进行了消融实验,以分析各个模块对定位误差和效率提升的贡献。主要从以下3个方面进行分析:首先,全局匹配模块通过逐像素匹配自动识别最相似区域的初始对应点,摒弃了传统的特征检测和匹配方法,有效避免了特征点重复性低的问题。同时,引入海陆分割掩模来限制逐像素匹配的搜索范围,不仅加快了搜索过程,还消除了海面像素的干扰。其次,局部匹配模块引入海岸线采样点以增加匹配点的均匀分布特性,并结合分段线性变换解决SAR影像中的局部畸变。最后,逐像素匹配和局部匹配步骤均利用GPU进行了加速。消融实验以本文提出算法为基准,逐步分离这些贡献,以评估它们对整体方法改进的各自影响。

    具体对比方法设置如表3所示,其中,T1算法将本文提出的基于海陆分割掩模逐像素匹配替换为RIFT全局匹配算法;T2算法去除海岸线均匀采样点,仅使用逐像素初始匹配点进行局部匹配和变换模型估计;T3算法去除GPU加速处理,改为使用CPU多线程并行处理,NCC模板匹配通过FFT加速实现。消融实验的对比结果如表4所示,T1算法精度损失较大,这是由于传统全局匹配方法在处理异源影像时,难以检测到足够多的可重复关键点来估计准确的变换模型。相比之下,本文提出的基于海陆掩模逐像素匹配方法能够自动搜索所有像素的对应点,提高了算法在挑战场景中的适应能力。T2算法由于缺少海岸线均匀采样点,精度损失同样较大。由于海岛区域的独特形状,全局匹配难以获得均匀分布的匹配点;而传统局部匹配算法虽然采用分块角点提取来获取均匀分布的匹配点,但不适合不规则形状的海岛区域,导致最终匹配内点无法满足数量和分布特性的要求。T3算法通过CPU多线程并行处理,定位误差与T0算法相似,轻微的精度差异来自NCC模板匹配的不同算法实现。此外, T1算法耗时最长,这是由于采用了RIFT作为全局匹配算法;T2算法比T0算法较快,因为局部匹配阶段的待匹配点减少了海岸线均匀采样点;GPU实现的本文算法相比于CPU实现的T3算法加速了近9倍,在高性能显卡上还有进一步提升的空间。

    表  3  消融实验方法设置
    Table  3.  Setting of the ablation study
    方法 基于海陆分割掩模的
    逐像素匹配
    结合海岸线采样点的
    分段线性变换
    GPU加速
    T0(本文算法)
    T1 ×
    T2 ×
    T3 ×
    下载: 导出CSV 
    | 显示表格
    表  4  消融实验对比结果,包括定位误差(m)和平均处理时间(s)
    Table  4.  The comparison results of ablation study, including positioning error (m) and average processing time (s)
    方法 A1 A2 B C D1 D2 平均处理时间(s)
    T0 1.82 2.98 3.65 5.50 2.81 2.45 17.3
    T1 2.28 4.14 5.29 8.32 4.67 3.71 205.6
    T2 2.24 3.71 7.31 5.63 3.95 3.38 16.9
    T3 1.89 3.18 4.42 5.58 2.82 3.02 158.8
    下载: 导出CSV 
    | 显示表格

    在本节中,我们对开源海岸线矢量的替代性进行了深入的实验分析,考虑到其可能存在的时效性与一致性精度下降问题。随后,我们探讨了本文算法的局限性以及未来的研究方向。

    4.4.1   开源海岸线矢量 vs 海陆分割

    本文采用的OSM开源海岸线矢量主要发挥两个作用:一是作为海陆分割掩模,以提高逐像素匹配效率,避免海面带来的匹配干扰;二是作为海岸线矢量,用于生成海岸线均匀采样点,以增强匹配点的均匀分布。如图1所示,海岛区域的光学底图与OSM开源海岸线矢量基本吻合。然而,考虑到人工填海造岛和海洋侵蚀等因素导致的海岸线变化,时效性较低的OSM开源海岸线矢量可能难以与光学底图保持高度一致。因此,本文进一步研究了使用光学影像海陆分割掩模来替代OSM开源海岸线矢量的算法在精度和效率方面的变化。光学影像海陆分割掩模同样采用基于Otsu阈值分割和形态学膨胀的方法来进行提取。

    图13展示了开源海岸线矢量与海陆分割的可视化对比效果,其中,黄色表示海岸线,红色十字标记为海岸线均匀采样点。结果表明,开源海岸线矢量表现出较高的稳定性,不受光学底图辐射变化的干扰;而光学底图的海陆分割结果难以精确描绘海岸线轮廓,引入了较多干扰采样点,这一定程度上增加了处理时间并降低了校正精度。尽管可以采用更先进的海陆分割算法,但会导致处理时间的增加,与本文算法追求高效的初衷不符。表5提供了开源海岸线矢量与海陆分割精度对比结果。由于光学底图中存在薄云干扰和色彩不均匀的问题,海陆分割结果受到了一定程度的影响。值得注意的是,在测试区域C中,采用海陆分割结果的校正精度反而优于使用开源海岸线矢量的结果。通过观察图13(c)发现,海岛中大部分辐射较低的树林区域被排除在掩模之外,这些区域难以获得异源影像的稳定匹配点。因此,海陆分割结果一定程度上去除了这些干扰,使算法能够专注于在稳定区域寻找匹配点,从而获得了更优的匹配结果。

    图  13  开源海岸线矢量与海陆分割结果的对比显示
    Figure  13.  The comparison between open-source coastline vectors and land-sea segmentation results
    表  5  开源海岸线矢量与海陆分割的对比结果,包括定位误差(m)、平均处理时间(s)和采样点数量(个)
    Table  5.  The comparison results between open-source coastline vectors and land-sea segmentation, including positioning error (m), average processing time (s), and the number of sampling points (count)
    测试区域 定位误差(m) 平均处理时间(s) 采样点数量(个)
    开源海岸线矢量 海陆分割 开源海岸线矢量 海陆分割 开源海岸线矢量 海陆分割
    A1 1.82 1.92 14.2 22.2 269 1451
    A2 2.98 3.15 12.3 18.4 269 1451
    B 3.65 4.67 15.0 20.25 783 1253
    C 5.50 4.53 24.1 51.4 1119 3464
    D1 2.81 3.28 15.5 20.91 157 824
    D2 2.45 2.69 16.8 21.49 157 824
    下载: 导出CSV 
    | 显示表格

    总的来说,使用开源海岸线矢量在稳定性和处理效率方面表现更佳。在缺乏开源海岸线矢量的测试区域,可以采用光学影像海陆分割的方法作为替代,本文算法依然能够取得较好的校正结果。

    4.4.2   局限性分析与未来工作

    尽管本算法在多个测试区域均取得了快速且准确的校正结果,但仍存在一定的局限性:

    (1) 实验数据:本研究采用了两个不同型号的C波段SAR卫星进行实验,分别是2016年发射的高分三号卫星和2020年发射的海丝一号小卫星。本算法依赖于异源影像之间稳定不变的空间结构特征进行匹配,理论上对SAR影像的波段差异具有鲁棒性。未来,我们计划进一步验证本算法在不同波段SAR影像上的适用性,包括X波段、Ku波段、L波段等。

    (2) 校正精度:通过分析表2中的定位误差,我们发现本算法在平坦海岛的定位误差较小,如测试区域A和区域D;而在起伏较大的海岛,如测试区域B和区域C,定位误差相对较大。这主要是因为实验中使用了30 m格网的SRTM作为高程,其在起伏区域的高程精度相对较低,对侧视成像的SAR影像造成了显著的局部畸变,进而影响了整体校正精度。此外,成像视角较小的测试影像定位误差也相对较大,这也是由于高程误差在小视角成像条件下对平面几何定位误差的影响更为显著。当然,MGC增益设置的不合理和复杂海况也可能引入负面影响,但由于目前测试数据的覆盖条件有限,无法对这些因素进行全面分析。未来,我们计划扩充测试数据集,并从两个方面进行深入分析:(1)探讨不同格网大小和高程精度对校正精度的影响;(2)利用高精度的DEM数据,在排除高程误差影响的情况下,分析MGC增益设置和海况对校正精度的影响,并持续优化处理算法以增强其对这些因素的适应能力。

    本研究提出了一种针对高分辨率SAR海岛区域影像的高效正射校正算法,该算法通过快速异源配准自动获取基于参考底图的控制点。所提出的异源配准算法分为两个阶段:首先,在全局匹配阶段,通过在全局结构特征上进行逐像素搜索,自动定位到最适宜匹配区域的初始匹配点;其次,在局部匹配阶段,对初始匹配点的精度进行精细化处理,并结合海岸线均匀采样点,以确保海岛区域控制点的均匀分布,满足分段线性变换模型对匹配点的精确要求。与多种先进算法的比较结果表明,本算法在正射校正精度和处理效率方面均展现出卓越的性能,且具有显著的工程应用潜力。

    致谢 本文作者感谢审稿专家提出的宝贵意见,同时感谢天仪研究院提供的海丝一号SAR影像。

  • 图  1  海岛区域SAR影像与光学底图的海岸线对比展示(黄线为OpenStreetMap开源海岸线矢量)

    Figure  1.  The comparison display of coastlines between SAR images of island regions and optical base maps (the yellow line delineates the coastline obtained form OpenStreetMap)

    图  2  海岛区域SAR影像与光学底图的辐射对比展示

    Figure  2.  The radiance comparison display between SAR images of island regions and optical base maps

    图  3  本文所提双阶段配准及正射校正方法的算法流程图

    Figure  3.  The algorithm flowchart of the two-stage registration and orthorectification method mentioned in this paper

    图  4  海岛区域SAR影像与光学底图海陆掩模结果

    Figure  4.  The land-sea mask results of SAR images and optical base maps in island regions

    图  5  原始分段线性变换与结合海岸线采样点的分段线性变换对比结果

    Figure  5.  Comparison results between the original piecewise linear transformation and the piecewise linear transformation combined with coastline sampling points

    图  6  4个测试区域的待纠正SAR影像和光学底图(底图上的绿点代表人工选取的基准点,均匀分布在图中的显著区域)

    Figure  6.  The SAR images to be corrected and the optical base maps for four test areas (the green dots on the base maps represent manually selected reference points, evenly distributed across the significant areas of the images)

    图  7  所有算法在6组测试影像上的匹配点数量和全流程处理时间

    Figure  7.  The number of matching points and the total processing time for all algorithms on six sets of test images

    图  8  4个测试区域对比算法的匹配点分布结果(仅展示了在光学底图上的位置)

    Figure  8.  The distribution results of matching points for the comparison algorithms in four test areas (only showing the positions on the optical base maps)

    图  9  测试区域A1的匹配校正结果展示

    Figure  9.  The display of the matching and rectification results for test area A1

    图  10  测试区域B的匹配校正结果展示

    Figure  10.  The display of the matching and rectification results for test area B

    图  11  测试区域C的匹配校正结果展示

    Figure  11.  The display of the matching and rectification results for test area C

    图  12  测试区域D的匹配校正结果展示

    Figure  12.  The display of the matching and rectification results for test area D

    图  13  开源海岸线矢量与海陆分割结果的对比显示

    Figure  13.  The comparison between open-source coastline vectors and land-sea segmentation results

    表  1  待校正的SAR影像成像参数信息

    Table  1.   The imaging parameter information of the SAR image to be rectified

    测试区域卫星型号成像模式成像视角(°)波段采样间隔(m)影像尺寸(像素)
    A1高分三号滑动聚束41.2C0.56/0.3615616×29344
    A2高分三号滑动聚束21.4C0.56/0.318635×33560
    B高分三号滑动聚束39.3C0.56/0.3413660×32208
    C高分三号滑动聚束29.7C0.56/0.3310946×32032
    D1海丝一号滑动聚束28.0C0.31/0.179188×45875
    D2海丝一号滑动聚束28.8C0.31/0.3212748×22937
    下载: 导出CSV

    表  2  所有算法在6组测试影像上的定位误差(m)

    Table  2.   The positioning errors of all algorithms on six sets of test images (m)

    方法 A1 A2 B C D1 D2 平均处理时间(s)
    本文算法 1.82 2.98 3.65 5.50 2.81 2.45 17.3
    SFOC 2.10 / / 15.20 3.88 3.43 139.8
    RIFT 2.93 3.87 7.09 6.54 5.90 4.33 194.3
    3MRS 2.02 4.15 5.51 12.68 6.15 3.59 160.7
    海岸线匹配 8.71 / / 9.44 12.15 6.04 172.1
    注:/代表校正失败。
    下载: 导出CSV

    表  3  消融实验方法设置

    Table  3.   Setting of the ablation study

    方法 基于海陆分割掩模的
    逐像素匹配
    结合海岸线采样点的
    分段线性变换
    GPU加速
    T0(本文算法)
    T1 ×
    T2 ×
    T3 ×
    下载: 导出CSV

    表  4  消融实验对比结果,包括定位误差(m)和平均处理时间(s)

    Table  4.   The comparison results of ablation study, including positioning error (m) and average processing time (s)

    方法 A1 A2 B C D1 D2 平均处理时间(s)
    T0 1.82 2.98 3.65 5.50 2.81 2.45 17.3
    T1 2.28 4.14 5.29 8.32 4.67 3.71 205.6
    T2 2.24 3.71 7.31 5.63 3.95 3.38 16.9
    T3 1.89 3.18 4.42 5.58 2.82 3.02 158.8
    下载: 导出CSV

    表  5  开源海岸线矢量与海陆分割的对比结果,包括定位误差(m)、平均处理时间(s)和采样点数量(个)

    Table  5.   The comparison results between open-source coastline vectors and land-sea segmentation, including positioning error (m), average processing time (s), and the number of sampling points (count)

    测试区域 定位误差(m) 平均处理时间(s) 采样点数量(个)
    开源海岸线矢量 海陆分割 开源海岸线矢量 海陆分割 开源海岸线矢量 海陆分割
    A1 1.82 1.92 14.2 22.2 269 1451
    A2 2.98 3.15 12.3 18.4 269 1451
    B 3.65 4.67 15.0 20.25 783 1253
    C 5.50 4.53 24.1 51.4 1119 3464
    D1 2.81 3.28 15.5 20.91 157 824
    D2 2.45 2.69 16.8 21.49 157 824
    下载: 导出CSV
  • [1] 孙湫词, 谭勇华, 李家彪. 新时代我国海岛的生态保护和开发利用[J]. 海洋开发与管理, 2018, 35(8): 22–27. doi: 10.3969/j.issn.1005-9857.2018.08.004.

    SUN Qiuci, TAN Yonghua, and LI Jiabiao. Ecological protection and exploitation of islands in China in new era[J]. Ocean Development and Management, 2018, 35(8): 22–27. doi: 10.3969/j.issn.1005-9857.2018.08.004.
    [2] VASSILOPOULOU S, HURNI L, DIETRICH V, et al. Orthophoto generation using IKONOS imagery and high-resolution DEM: A case study on volcanic hazard monitoring of Nisyros Island (Greece)[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2002, 57(1/2): 24–38. doi: 10.1016/S0924-2716(02)00126-0.
    [3] 崔丹, 王辉, 刘君, 等. 海南岛沿岸海域砗磲资源调查及保护前景展望[J]. 海洋通报, 2019, 38(5): 527–532. doi: 10.11840/j.issn.1001-6392.2019.05.006.

    CUI Dan, WANG Hui, LIU Jun, et al. The resources survey and conservation prospects of the giant clams in the coastal waters at Hainan Island[J]. Marine Science Bulletin, 2019, 38(5): 527–532. doi: 10.11840/j.issn.1001-6392.2019.05.006.
    [4] 李晓敏, 张杰, 孟俊敏, 等. 高分辨率SAR影像在海岛监视监测中的应用[J]. 海洋开发与管理, 2018, 35(2): 39–43. doi: 10.3969/j.issn.1005-9857.2018.02.008.

    LI Xiaomin, ZHANG Jie, MENG Junmin, et al. Application of high spatial resolution SAR images in islands monitoring[J]. Ocean Development and Management, 2018, 35(2): 39–43. doi: 10.3969/j.issn.1005-9857.2018.02.008.
    [5] 范剑超, 王德毅, 赵建华, 等. 高分三号SAR影像在国家海域使用动态监测中的应用[J]. 雷达学报, 2017, 6(5): 456–472. doi: 10.12000/JR17080.

    FAN Jianchao, WANG Deyi, ZHAO Jianhua, et al. National sea area use dynamic monitoring based on GF-3 SAR imagery[J]. Journal of Radars, 2017, 6(5): 456–472. doi: 10.12000/JR17080.
    [6] 孙学娇, 李俊杰, 陈卫荣, 等. 高分三号卫星助力海洋强国建设[J]. 卫星应用, 2023(12): 20–27. doi: 10.3969/j.issn.1674-9030.2023.12.007.

    SUN Xuejiao, LI Junjie, CHEN Weirong, et al. Gaofen-3 satellite aids in the construction of a maritime powerhouse[J]. Satellite Application, 2023(12): 20–27. doi: 10.3969/j.issn.1674-9030.2023.12.007.
    [7] 胡玉新, 王峰, 焦念刚, 等. 面向目标结构信息保持的SAR真正射遥感影像生成方法[J]. 电子与信息学报, 2023, 45(10): 3767–3775. doi: 10.11999/JEIT221341.

    HU Yuxin, WANG Feng, JIAO Niangang, et al. True digital ortho maps production for target structure information of SAR remote sensing images[J]. Journal of Electronics & Information Technology, 2023, 45(10): 3767–3775. doi: 10.11999/JEIT221341.
    [8] XIANG Yuming, WANG Feng, and YOU Hongjian. OS-SIFT: A robust SIFT-like algorithm for high-resolution optical-to-SAR image registration in suburban areas[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(6): 3078–3090. doi: 10.1109/TGRS.2018.2790483.
    [9] XIANG Yuming, JIAO Niangang, WANG Feng, et al. A robust two-stage registration algorithm for large optical and SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5218615. doi: 10.1109/TGRS.2021.3133863.
    [10] XIANG Yuming, WANG Xuanqi, WANG Feng, et al. A global-to-local algorithm for high-resolution optical and SAR image registration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 5215320. doi: 10.1109/TGRS.2023.3309855.
    [11] YE Yuanxin, ZHU Bai, TANG Tengfeng, et al. A robust multimodal remote sensing image registration method and system using steerable filters with first-and second-order gradients[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 188: 331–350. doi: 10.1016/j.isprsjprs.2022.04.011.
    [12] MERKLE N, LUO Wenjie, AUER S, et al. Exploiting deep matching and SAR data for the geo-localization accuracy improvement of optical satellite images[J]. Remote Sensing, 2017, 9(6): 586. doi: 10.3390/rs9060586.
    [13] FAN Zhongli, ZHANG Li, LIU Yuxuan, et al. Exploiting high geopositioning accuracy of SAR data to obtain accurate geometric orientation of optical satellite images[J]. Remote Sensing, 2021, 13(17): 3535. doi: 10.3390/rs13173535.
    [14] NIE Shanlan, ZHANG Haopeng, and JIANG Zhiguo. Sea-land segmentation based on template matching[C]. The Fifth International Conference on Network, Communication and Computing, Kyoto, Japan, 2016: 32–36. doi: 10.1145/3033288.3033309.
    [15] 尹航, 戚洪帅, 蔡锋, 等. 高分影像砂质海岸线精细提取及校正方法[J]. 海洋学报, 2022, 44(4): 143–152. doi: 10.12284/hyxb2022084.

    YIN Hang, QI Hongshuai, CAI Feng, et al. Sandy coastline fine extraction and correction method based on high resolution image[J]. Haiyang Xuebao, 2022, 44(4): 143–152. doi: 10.12284/hyxb2022084.
    [16] 李宁, 牛世林. 基于局部超分辨重建的高精度SAR图像水域分割方法[J]. 雷达学报, 2020, 9(1): 174–184. doi: 10.12000/JR19096.

    LI Ning and NIU Shilin. High-precision water segmentation from synthetic aperture radar images based on local super-resolution restoration technology[J]. Journal of Radars, 2020, 9(1): 174–184. doi: 10.12000/JR19096.
    [17] KANG Wenchao, XIANG Yuming, WANG Feng, et al. CFNet: A cross fusion network for joint land cover classification using optical and SAR images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15: 1562–1574. doi: 10.1109/JSTARS.2022.3144587.
    [18] WAN Ling, XIANG Yuming, and YOU Hongjian. An object-based hierarchical compound classification method for change detection in heterogeneous optical and SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(12): 9941–9959. doi: 10.1109/TGRS.2019.2930322.
    [19] LI Jiayuan, HU Qingwu, and AI Mingyao. RIFT: Multi-modal image matching based on radiation-variation insensitive feature transform[J]. IEEE Transactions on Image Processing, 2020, 29: 3296–3310. doi: 10.1109/TIP.2019.2959244.
    [20] FAN Jianwei, YE Yuanxin, LI Jian, et al. A novel multiscale adaptive binning phase congruency feature for SAR and optical image registration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5235216. doi: 10.1109/TGRS.2022.3206804.
    [21] FAN Zhongli, WANG Mi, PI Yingdong, et al. A robust oriented filter-based matching method for multisource, multitemporal remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 4703316. doi: 10.1109/TGRS.2023.3288531.
    [22] ZHU Bai, YANG Chao, DAI Jinkun, et al. R2FD2: Fast and robust matching of multimodal remote sensing images via repeatable feature detector and rotation-invariant feature descriptor[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 5606115. doi: 10.1109/TGRS.2023.3264610.
    [23] XIONG Xin, JIN Guowang, XU Qing, et al. Robust registration algorithm for optical and SAR images based on adjacent self-similarity feature[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5233117. doi: 10.1109/TGRS.2022.3197357.
    [24] LIAO Yun, DI Yide, ZHOU Hao, et al. Feature matching and position matching between optical and SAR with local deep feature descriptor[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15: 448–462. doi: 10.1109/JSTARS.2021.3134676.
    [25] XIANG Deliang, XIE Yuzhen, CHENG Jianda, et al. Optical and SAR image registration based on feature decoupling network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5235913. doi: 10.1109/TGRS.2022.3211858.
    [26] QUAN Dou, WANG Shuang, GU Yu, et al. Deep feature correlation learning for multi-modal remote sensing image registration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 4708216. doi: 10.1109/TGRS.2022.3187015.
    [27] XU Wangyi, YUAN Xinhui, HU Qingwu, et al. SAR-optical feature matching: A large-scale patch dataset and a deep local descriptor[J]. International Journal of Applied Earth Observation and Geoinformation, 2023, 122: 103433. doi: 10.1016/j.jag.2023.103433.
    [28] CUI Song, MA Ailong, ZHANG Liangpei, et al. MAP-Net: SAR and optical image matching via image-based convolutional network with attention mechanism and spatial pyramid aggregated pooling[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1000513. doi: 10.1109/TGRS.2021.3066432.
    [29] 杨玉婷, 赵凌君, 赵路路, 等. 强化位置感知的光学与SAR图像一体化配准方法[J]. 信号处理, 2024, 40(3): 557–568. doi: 10.16798/j.issn.1003-0530.2024.03.014.

    YANG Yuting, ZHAO Lingjun, ZHAO Lulu, et al. Integrated registration method for optical and SAR images by enhancing position awareness[J]. Journal of Signal Processing, 2024, 40(3): 557–568. doi: 10.16798/j.issn.1003-0530.2024.03.014.
    [30] 蓝朝桢, 卢万杰, 于君明, 等. 异源遥感影像特征匹配的深度学习算法[J]. 测绘学报, 2021, 50(2): 189–202. doi: 10.11947/j.AGCS.2021.20200048.

    LAN Chaozhen, LU Wanjie, YU Junming, et al. Deep learning algorithm for feature matching of cross modality remote sensing images[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(2): 189–202. doi: 10.11947/j.AGCS.2021.20200048.
    [31] ZHANG Yongxian, LAN Chaozhen, ZHANG Haiming, et al. Multimodal remote sensing image matching via learning features and attention mechanism[J]. IEEE Transactions on Geoscience and Remote Sensing, 2024, 62: 5603620. doi: 10.1109/TGRS.2023.3348980.
    [32] 尤红建, 胡岩峰. SAR和光学图像精配准技术的研究[J]. 雷达学报, 2014, 3(1): 78–84. doi: 10.3724/SP.J.1300.2014.13154.

    YOU Hongjian and HU Yanfeng. Investigation on fine registration for SAR and optical image[J]. Journal of Radars, 2014, 3(1): 78–84. doi: 10.3724/SP.J.1300.2014.13154.
    [33] 王蒙蒙, 叶沅鑫, 朱柏, 等. 基于空间约束和结构特征的光学与SAR影像配准[J]. 武汉大学学报: 信息科学版, 2022, 47(1): 141–148. doi: 10.13203/j.whugis20190354.

    WANG Mengmeng, YE Yuanxin, ZHU Bai, et al. An automatic registration method for optical and SAR images based on spatial constraint and structure features[J]. Geomatics and Information Science of Wuhan University, 2022, 47(1): 141–148. doi: 10.13203/j.whugis20190354.
    [34] YE Yuanxin, BRUZZONE L, SHAN Jie, et al. Fast and robust matching for multimodal remote sensing image registration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(11): 9059–9070. doi: 10.1109/TGRS.2019.2924684.
    [35] XIANG Yuming, TAO Rongshu, WAN Ling, et al. OS-PC: Combining feature representation and 3-D phase correlation for subpixel optical and SAR image registration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(9): 6451–6466. doi: 10.1109/TGRS.2020.2976865.
    [36] ZHANG Han, LEI Lin, NI Weiping, et al. Explore better network framework for high-resolution optical and SAR image matching[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 4704418. doi: 10.1109/TGRS.2021.3126939.
    [37] LIU Ming, ZHOU Gaoxiang, MA Lingfei, et al. SIFNet: A self-attention interaction fusion network for multisource satellite imagery template matching[J]. International Journal of Applied Earth Observation and Geoinformation, 2023, 118: 103247. doi: 10.1016/j.jag.2023.103247.
    [38] FAN Zhongli, LIU Yuxian, LIU Yuxuan, et al. 3MRS: An effective coarse-to-fine matching method for multimodal remote sensing imagery[J]. Remote Sensing, 2022, 14(3): 478. doi: 10.3390/rs14030478.
    [39] QUAN Dou, WEI Huiyuan, WANG Shuang, et al. A novel coarse-to-fine deep learning registration framework for multimodal remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 5108316. doi: 10.1109/TGRS.2023.3306042.
    [40] CAO Fanzhi, SHI Tianxin, HAN Kaiyang, et al. RDFM: Robust deep feature matching for multimodal remote-sensing images[J]. IEEE Geoscience and Remote Sensing Letters, 2023, 20: 6009605. doi: 10.1109/LGRS.2023.3309404.
    [41] EUGENIO F and MARQUÉS F. Automatic satellite image georeferencing using a contour-matching approach[J]. IEEE Transactions on Geoscience and Remote Sensing, 2003, 41(12): 2869–2880. doi: 10.1109/TGRS.2003.817226.
    [42] 刘善伟. 面向海岛海岸带的遥感影像几何精校正方法研究[D]. [硕士论文], 中国石油大学, 2008.

    LIU Shanwei. Research on remote sensing image geometric precision correction method for island and costal zone[D]. [Master dissertation], China University of Petroleum, 2008.
    [43] DONG Yue, ZHANG Jinfang, and XU Fanjiang. Auto localization for coastal satellite imagery based on curve matching[C]. 2014 International Conference on Multisensor Fusion and Information Integration for Intelligent Systems (MFI), Beijing, China, 2014: 1–6. doi: 10.1109/MFI.2014.6997645.
    [44] MUTAQIN B W, ISNAIN M N, MARFAI M A, et al. Assessing the accuracy of open-source digital elevation models for the geomorphological analysis of very small islands of Indonesia[J]. Applied Geomatics, 2023, 15(4): 957–974. doi: 10.1007/s12518-023-00533-8.
    [45] 张靓, 孟婵媛, 李军, 等. 基于岸线配准的海岛礁遥感影像几何纠正方法[J]. 海洋测绘, 2011, 31(6): 24–27. doi: 10.3969/j.issn.1671-3044.2011.06.007.

    ZHANG Liang, MENG Chanyuan, LI Jun, et al. Precision rectification method for island satellite image based on registration of coastline[J]. Hydrographic Surveying and Charting, 2011, 31(6): 24–27. doi: 10.3969/j.issn.1671-3044.2011.06.007.
    [46] 张艳, 王涛, 冯伍法, 等. “天绘一号”海岛(礁)影像稀少控制下的定位技术研究[J]. 武汉大学学报: 信息科学版, 2016, 41(5): 617–623. doi: 10.13203/j.whugis20140220.

    ZHANG Yan, WANG Tao, FENG Wufa, et al. Positioning technology study for mapping Satellite-1 islands (Reefs) imagery with scarce controls[J]. Geomatics and Information Science of Wuhan University, 2016, 41(5): 617–623. doi: 10.13203/j.whugis20140220.
    [47] MISRA I, ROHIL M K, MOORTHI S M, et al. MIRACLE: Multi-satellite Island image registration using anisotropic coherence locality enhanced nonlinear diffusion and Mahalanobis distance guided marginalization[J]. International Journal of Remote Sensing, 2023, 44(12): 3753–3776. doi: 10.1080/01431161.2023.2225713.
    [48] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62–66. doi: 10.1109/TSMC.1979.4310076.
    [49] GOSHTASBY A. Piecewise linear mapping functions for image registration[J]. Pattern Recognition, 1986, 19(6): 459–466. doi: 10.1016/0031-3203(86)90044-0.
  • 期刊类型引用(1)

    1. 王佳,吴昊,傅瑞罡,孔玲爽,左毅. 变分近似解算KL散度红外可见光遥感图像配准. 光学精密工程. 2024(20): 3071-3084 . 百度学术

    其他类型引用(1)

  • 加载中
图(13) / 表(5)
计量
  • 文章访问数: 910
  • HTML全文浏览量: 208
  • PDF下载量: 241
  • 被引次数: 2
出版历程
  • 收稿日期:  2024-02-03
  • 修回日期:  2024-03-27
  • 网络出版日期:  2024-04-24
  • 刊出日期:  2024-08-28

目录

/

返回文章
返回