-
摘要: 传统的多目标跟踪数据关联算法需要提前知晓目标运动模型和杂波密度等先验信息,然而这些先验信息在跟踪之前无法及时准确地获取。针对这个问题,提出一种基于Transformer网络的多目标跟踪数据关联算法。首先,考虑到传感器会存在漏检的情况,引入虚拟量测来重新建立数据关联模型。在此基础上,提出基于Transformer网络的数据关联方法来解决多目标与多量测的匹配问题。同时,设计了一种掩蔽交叉熵损失与重叠度损失相结合的损失函数(MCD)用于优化网络参数。仿真和实测数据结果表明:在不同检测概率条件下,所提算法性能均优于经典的数据关联算法和基于双向长短时记忆网络的算法。
-
关键词:
- 机载雷达 /
- 多目标跟踪 /
- 数据关联 /
- Transformer网络 /
- 注意力机制
Abstract: Conventional multitarget-tracking data association algorithms must have prior information, such as the target motion model and clutter density. However, such prior information cannot be obtained timely and accurately before tracking. To address this issue, a data association algorithm for multitarget tracking based on a transformer network is proposed. First, considering that the radar may not perform accurate detected the target, virtual measurements are performed to re-establish the data association model. Thus, a data association method based on the transformer network is proposed to solve the matching problem of multitargets and multimeasurements. Moreover, a loss function combining Masked Cross entropy loss and Dice (MCD) loss is designed to optimize the network parameters. Simulation data and real measurement data results show that the proposed algorithm outperforms classic data association algorithms and algorithms based on bidirectional long short-term memory network under varying detection probability conditions.-
Key words:
- Airborne radar /
- Multitarget-tracking /
- Data association /
- Transformer network /
- Attention mechanism
-
1. 引言
数据关联是多目标跟踪技术的关键部分,它在侦察和监视任务中起着至关重要的作用。数据关联一直是机载雷达界的一个重要研究课题,因为它具有提升机载雷达系统多目标跟踪性能的潜力。传统的多目标跟踪数据关联算法可以分为两类:一类是基于极大似然的数据关联算法;另一类是基于贝叶斯的数据关联算法[1]。
基于极大似然的数据关联算法通过计算目标与量测的相关似然函数值,寻求目标与量测匹配的最佳方式。数据关联是组合优化问题的一个例子,而多目标跟踪问题被视为二维分配问题[2]。匈牙利算法(Hungarian Algorithm, HA)是解决分配问题的算法之一,它通过最大化对数似然函数的总和来最小化目标的估计分配成本[3]。由于所有量测都与所有预测状态进行比较,因此该算法也称为全局最近邻算法。但在复杂场景中,尤其有噪声干扰时,HA的效果并不理想。
常用的基于贝叶斯的数据关联算法包括多假设跟踪器(Multiple Hypothesis Tracker, MHT)和联合概率数据关联滤波器:它们是通过生成一组假设或目标与量测的关联概率来解决数据关联问题。MHT通过使用贝叶斯极大后验估计给假设赋值[4],但MHT生成假设的数量会随着目标数和雷达扫描数呈指数增长。概率数据关联滤波器采用贝叶斯方法通过后验概率密度函数找到量测与目标的分配概率来解决数据关联问题[5]。然而,概率数据关联算法仅有效处理杂波背景下的单目标数据关联问题[6]。联合概率数据关联算法(Joint Probabilistic Data Association, JPDA)可以解决多目标数据关联中量测同时落入多个跟踪波门的问题[7]。JPDA采用穷举法计算互联事件发生的概率,但随着目标数量的增加,联合事件数目呈指数增长,导致算法的计算量巨大甚至出现组合爆炸的情况[8,9],因此该算法在实际工程中不易实现。
目前的许多研究表明神经网络可以解决匹配问题[10]。神经网络并不需要计算复杂的概率分布,而是通过学习训练样本,优化隐藏参数,使其最准确地拟合训练集,从而本质上逼近所需的函数。Lee等人[11]提出使用深度神经网络来解决分配问题,但仅适用于分配问题受到1-1约束的情况。Milan等人[12]提出了基于循环神经网络的算法来解决旅行商问题,但该算法没有考虑传感器存在杂波和漏检的情况。对于雷达领域的多目标跟踪问题,Liu等人[13]的研究表明,基于LSTM的模型比JPDA和HA等经典模型具有更好的关联性能,但是该模型只考虑了简单杂波环境下的数据关联问题。Verma等人[14]提出基于双向长短时记忆(Bi-directional Long Short-Term Memory, Bi-LSTM)的算法用于解决数据关联问题,并表明Bi-LSTM在高效训练和性能方面优于基于LSTM的模型,但是该算法仅考虑了无漏检情况下的数据关联问题。Vaswani等人[15]提出Transformer模型,并在自然语言处理领域和计算机视觉领域得到广泛应用,例如问答系统[16]、文本摘要[17]、语音识别[18]和视觉跟踪[19-21]等。
针对传感器存在漏检及虚警情况下的数据关联问题,本文提出了一种基于Transformer网络的多目标跟踪数据关联(Data Association, DA)算法(Transformer-DA)。为了使网络适用于量测数未知的情况,本文提出了一种掩蔽交叉熵损失与重叠度损失相结合的损失函数(Masked Cross entropy and Dice, MCD)用于模型训练。此外,所提算法是基于数据驱动的深度学习网络算法,不需要事先知道目标运动模型和杂波密度等先验信息。
2. 数据关联模型
假设跟踪
n 个目标,雷达扫描开始时间为t1 ,结束时间为t2 ,在此期间进行N次扫描,第k 次扫描的量测集Z(k), k=1,2,⋯,N 定义如下:Z(k)={zik}mki=1 (1) 为了更好地表示传感器的漏检和虚警,引入了虚拟量测[22]的概念,通过向每个集合
Z(k) 添加一个索引为i=0 的虚拟测量来重新定义式(1)。Z(k)={zik}mki=0 (2) 其中,
z0k 代表虚拟量测,mk 代表k 时刻量测的数目。目标的状态估计集Γ(k), k=1,2,⋯,N 定义如下:Γ(k)={τjk}nkj=1 (3) 其中,
τjk 代表k 时刻第j 个目标的状态,nk 是k 时刻的目标数。在本节中,我们处理有检测歧义的情况。具体而言,做出以下假设:一是在每次扫描中传感器可能存在漏检;二是传感器可能会产生虚警。假设意味着每次扫描中量测的数量是变化的并且不等于目标的数量。这看似简单但对有检测歧义的情况下开发模型至关重要。通过引入定义数据关联的决策变量来构建Transformer-DA模型,首先定义了决策变量,然后开发了一个目标函数来量化数据关联问题的解决方案,最后提供了目标函数的约束条件。
2.1 决策变量
在跟踪过程中处理航迹和量测的关联问题时,会出现量测落入不同目标跟踪波门重叠区域的情况,这时候需要综合分析每个量测的来源情况。我们引入二进制变量
ωijk 并定义如下:ωijk={1,zik is assigned to τj0,otherwise (4) ωijk 为决策变量,ωijk=1 表示量测i 与目标j 关联,ωijk=0 表示量测i 与目标j 不关联。2.2 目标函数
在本节中,定义了一个目标函数,用于衡量数据关联问题解决方案的质量。定义
ˆzik=H(F(τjk−1)) 表示在k 时刻目标的估计量测位置,其中F(⋅) 为状态转移函数,H(⋅) 为量测函数。在k 时刻分配给目标j 的量测zjk 由∑mki=0ωijkzik 给出,因此在k 时刻目标j 的估计质量Pjk 由式(5)给出Pjk=‖ (5) 因此,多目标数据关联的分配成本
{{{C}}} \left( \omega \right) 由式(6)给出{{C}}(\omega ) = \sum\limits_{j = 1}^{{n_k}} {\sum\limits_{k = 1}^N {\left\| {\sum\limits_{i = 0}^{{m_k}} {\omega _k^{ij}{\boldsymbol{z}}_k^i - {{\hat {\boldsymbol{z}}}}_k^i} } \right\|} } (6) 为了找到使得成本最低的分配,我们需要在所有分配中最小化成本
{{{C}}} \left( \omega \right) 。可以分析得知,当所有量测与所有航迹一一正确关联时,可得到最小的{{{C}}} \left( \omega \right) 。2.3 约束条件
一个量测最多分配给一个目标,若量测没有与目标关联,则为杂波,此约束如式(7)所示:
\sum\limits_{j = 1}^{{n_k}} {\omega _k^{ij}} \le 1,{\text{ }}k = 1,2, \cdots ,N (7) 一个目标最多只被分配一个量测,若目标没有与任何量测关联,即为漏检,此约束如式(8)所示:
\sum\limits_{i = 0}^{{m_k}} {\omega _k^{ij}} \le 1,{\text{ }}k = 1,2, \cdots ,N (8) 将上述目标函数和约束条件合并,即可得到用于存在杂波和漏检情况的数据关联模型,表示如下:
最小化:
{\text{minimize}}\sum\limits_{j = 1}^{{n_k}} {\sum\limits_{k = 1}^N {\left\| {\sum\limits_{i = 0}^{{m_k}} {\omega _k^{ij}{\boldsymbol{z}}_k^i - {{\hat {\boldsymbol{z}}}}_k^i} } \right\|} } (9) 其约束条件为
\left.\begin{split} & \sum\limits_{j = 1}^{{n_k}} {\omega _k^{ij}} \le 1,{\text{ }}k = 1,2, \cdots ,N \hfill \\ & \sum\limits_{i = 0}^{{m_k}} {\omega _k^{ij}} \le 1,{\text{ }}k = 1,2, \cdots ,N \hfill \\ & \omega _k^{ij} \in \left\{ {0,{\text{ }}1} \right\} \end{split}\right\} (10) 本文将上述数据关联问题制定为在尽可能多的目标上执行的分类任务。对于不同的目标采用整体网络架构。我们的目标是找到与目标相对应的量测。量测来源的不确定性和传感器存在漏检的可能性,使得数据关联问题复杂化。对此,我们使用Transformer网络来解决这个问题。
3. Transformer-DA网络
在上文中介绍了存在漏检和杂波情况下的数据关联模型。接下来,我们将原始多航迹与多量测的关联问题重新表述为多个分类子问题。
每个目标与所有量测的匹配如图1所示。输入
S 是目标j 的4个历史状态,Z为k 时刻的所有量测,在预测每个目标的量测分配中,网络将输出一个匹配向量{\boldsymbol{\omega}} _k^j ,它是目标与在时间k 的所有量测的分配概率,漏检的目标与虚拟量测关联,即图1中紫色目标关联到虚拟量测。接下来,我们将介绍图1中的Network结构。3.1 嵌入注意力机制的Transformer-DA结构
作为一种特殊的查询键机制,Transformer很大程度上依赖注意力机制来处理所提取的深度特征。假定一组序列对
\left\langle {X,Y} \right\rangle , Transformer的结构可以通过调整参数去拟合序列对的映射关系。注意力机制和所提Transformer-DA网络结构如图2所示。图2(a)所示为注意力计算部分,其中,Query和Key先进行矩阵相乘,然后通过Scale缩放到0和1之间,再通过Softmax得到注意力分数,最后与Value相乘得到最终输出。图2(b)是所提出的Transformer-DA网络结构,网络结构可分为两部分,左边为网络的编码器结构,右边为网络的解码器结构。在编码器的前端加入了全连接层用于特征提取,并在解码器的输出加入了多层感知机用于类别预测。输入序列通过全连接层和位置编码后进入多层编码器中,其中每一层由多头注意力机制、层正则化和前向传播模块组成,同时加入了残差连接可防止梯度消失。量测隐式地表示在解码器查询中,这些查询是解码器用于输出关联概率的嵌入。解码器在两种类型的注意之间交替:一是对所有查询的自我注意力机制,它允许对所有量测进行联合推理;二是编码器-解码器注意力机制,这使得查询可以全局访问编码器中的信息。Transformer的置换不变性要求对网络的输入加上位置编码。
3.2 基于Transformer-DA网络的多目标跟踪方法
我们设计了基于Transformer-DA网络的多目标跟踪框架,如图3所示。考虑到航迹与量测的正确匹配与目标的运动学特征有重要关系,使用了每个目标前4个历史状态,即目标
k - 4 ,k - 3 ,k - 2 ,k - 1 时刻的估计状态;然后对每个目标的4个历史状态进行Flatten操作后作为输入,n 个目标就得到了编码器的输入序列;然后将k 时刻的所有量测输入到Transformer-DA解码器中得到量测与航迹的关联概率;最后将关联概率输入到卡尔曼滤波器中以输出多个目标在k 时刻的估计状态。3.3 MCD损失函数
我们设置了Transformer-DA解码器输入的最大量测数,当
k 时刻的量测数目没有达到最大量测数时,将会对k 时刻的量测使用0值填充,并使用1标记真实量测,0标记填充的量测,然后将标记组成mask向量。为了避免填充量测对损失的计算造成影响,在交叉熵损失函数的基础上做了改进得到{\text{Los}}{{\text{s}}_{{\text{mask}}}} 。由于多目标场景中存在杂波数比目标的真实量测多的情况,这样会导致样本的不均衡,为了推动模型更加关注学习目标与正确量测的关联概率,引入Dice损失{\text{Los}}{{\text{s}}_{{\text{dice}}}} 。最终使用的MCD损失函数为上述两种损失之和,用式(11)表示:\left. \begin{split} & {\text{Los}}{{\text{s}}_{{\text{MCD}}}} = {\text{Los}}{{\text{s}}_{{\text{mask}}}} + {\text{Los}}{{\text{s}}_{{\text{dice}}}} \hfill \\ & {\text{Los}}{{\text{s}}_{{\text{mask}}}} = - \frac{1}{m}\sum\limits_{j = 1}^m {\left( {{\bf{mask}} \cdot \sum\limits_{i = 1}^C {y_i^j\log \left(p_i^j \right)} } \right)} \hfill \\ & {\text{Los}}{{\text{s}}_{{\text{dice}}}} = 1 - \sum\limits_i^{mC} {\frac{{2{p_i}{y_i} + \gamma }}{{{p^2_i} + {y^2_i} + \gamma }}} \end{split} \right\} (11) 其中,
{p_i} 表示预测关联概率,{y_i} 表示真实关联概率,\gamma 为平滑项,取值为1防止损失上溢。4. 实验分析
4.1 网络参数及评估指标
本文基于Ubuntu16.04系统进行实验,使用深度学习的框架是Tensorflow。实验的硬件配置:CPU为Intel(R)i5-10400F,GPU为GeForce RTX 3080 Ti,内存为16GB,使用CUDA11.1调用GPU进行训练加速。训练过程中,使用Adam优化器进行参数更新,实验设置的初始学习率为0.001,模型采用从头训练的方式,训练的batch size取256。
本文的多目标跟踪算法中使用的是基于匀速运动模型的卡尔曼滤波算法,Transformer-DA使用的目标状态特征为:
\left[ {t,x,{v_x},y,{v_y}} \right] ,其中t ,x ,{v_x} ,y ,{v_y} 分别表示时间间隔、在x 轴方向的位置、在x 轴方向的速度、在y 轴方向的位置、在y 轴方向的速度;网络使用的量测特征为\left[ {t,R,\alpha ,\theta } \right] ,其中R ,\alpha ,\theta 分别代表径向距离、方位角、俯仰角。Transformer-DA网络的参数如表1所示。表 1 Transformer-DA网络参数Table 1. Transformer-DA network parameters参数 数值 编码器输入数据维度 5 \times 20 解码器输入数据维度 100 \times 4 输出数据维度 100 \times 6 多头注意力的头数 8 编码器输入最大序列长度 5 解码器输入最大序列长度 100 解码器数目 6 编码器数目 6 前向传播网络大小 512 隐藏层大小 512 Dropout率 0.1 本文在实验中使用最优子模式分配[23](Optimal Sub-Pattern Assignment, OSPA)距离指标来评估不同算法的跟踪性能。均方根误差的前提是所有估计的点迹之间存在着一一对应关系,但是在大多数的多目标场景中,跟踪算法往往做不到在每个时刻建立这种对应关系。
多个目标的真实状态集
{\boldsymbol{\varPhi}} = \left\{ {{{{\boldsymbol{\varphi}} }_1},{{{\boldsymbol{\varphi}} }_2}, \cdots ,{{{\boldsymbol{\varphi}} }_m}} \right\} ,其中{{{\boldsymbol{\varphi}} }_i} = \left\{ {{{{\boldsymbol{\varphi}} }_{i1}},{{{\boldsymbol{\varphi}} }_{i2}}, \cdots ,{{{\boldsymbol{\varphi}} }_{iN}}} \right\} ;多个目标估计状态集\tilde {\boldsymbol{\varPhi}} = \left\{ {{{{\tilde {\boldsymbol{\varphi}} }}_1},{{{\tilde {\boldsymbol{\varphi}} }}_2}, \cdots ,{{{\tilde {\boldsymbol{\varphi}} }}_n}} \right\} ,其中{{\tilde {\boldsymbol{\varphi}} }_i} = \left\{ {{{{\tilde {\boldsymbol{\varphi}} }}_{i1}},{{{\tilde {\boldsymbol{\varphi}} }}_{i2}}, \cdots ,{{{\tilde {\boldsymbol{\varphi}} }}_{iN}}} \right\} ,m 和n 分别表示实际目标数和估计目标数,N 表示扫描次数。{{{\boldsymbol{\varphi}} }_i} \in {{\boldsymbol{\varPhi}} } ,{{\tilde {\boldsymbol{\varphi}} }_i} \in {\tilde {\boldsymbol{\varPhi}} } 是两个集合中所包含的元素,分别表示在一定探测时间内目标的真实状态和估计状态。{{{\boldsymbol{\varphi}} }_{ij}} = \left[ {x,y} \right] \in {{{\boldsymbol{\varphi}} }_i} ,{{\tilde {\boldsymbol{\varphi}} }_{ij}} = \left[ {x,y} \right] \in{{\tilde {\boldsymbol{\varphi}} }_i} 是两个集合中包含的元素,分别表示目标i 在时间j \in \left[ {1,N} \right] 时的真实状态和估计状态。OSPA的计算如下:{\text{OSP}}{{\text{A}}_{p,c}}\left( {{{\boldsymbol{\varphi}} },{\tilde {\boldsymbol{\varphi}} }} \right) = \left\{ {\begin{array}{*{20}{c}} {{{\left[ {\dfrac{1}{n}\left( {\mathop {\min }\limits_{{{{\pi}} } \in {\varPi _n}} {{\displaystyle\sum\limits_{i = 1}^m {\left( {{d_c}\left( {{{{\boldsymbol{\varphi}} }_i},{{{\tilde {\boldsymbol{\varphi}} }}_{\pi {(i)}}}} \right)} \right)^p} }} + \left( {n - m} \right) \cdot {c^p}} \right)} \right]}^{\textstyle\frac{1}{p}}}},&{m \le n} \\ {{\text{OSP}}{{\text{A}}_{p,c}}\left( {{\tilde {\boldsymbol{\varphi}} },{{\boldsymbol{\varphi}} }} \right)},&{m > n} \end{array}} \right. (12) 其中,
{\varPi _n} 表示从集合\tilde {\boldsymbol{\varPhi}} 中取m 个元素的所有排列组合,排列组合数p_n^m,\,{d_c}\left( {{{{\boldsymbol{\varphi}} }_i},{{{\tilde {\boldsymbol{\varphi}} }}_i}} \right) = \min \left( {c,\left\| {{{{\boldsymbol{\varphi}} }_i} - {{{\tilde {\boldsymbol{\varphi}} }}_i}} \right\|} \right) ,\left\| \cdot \right\| 表示2范数,\mathop {\min }\limits_{{{{\pi}} } \in {{{\varPi}} _n}} 表示所有目标的真实点迹与估计点迹之间距离相差最小的一组,c 和p 分别为距离敏感性参数和关联敏感性参数。4.2 仿真数据实验
4.2.1 训练数据及参数设置
在仿真实验中,我们分别仿真了多种运动模式的轨迹共1000条,每5条轨迹形成一个多目标场景,总计仿真了200个多目标场景,其中60%用于训练,20%用于验证和20%用于测试。通过在轨迹数据上加入均值
\mu = 0 、方差{\delta _R} = 100\;{\text{m}} ,{\delta _\alpha } = {0.5^ \circ } ,{\delta _\theta } = {0.5^ \circ } 的高斯噪声坐标转换到空间直角标系下模拟目标的量测,并加入均匀分布的杂波点来模拟环境的干扰。杂波在目标运动场景内服从均匀分布,杂波数服从密度为\lambda 的泊松分布[24]。杂波数的期望定义为:{E_\lambda } = \lambda \left( {{x_{\max }} - {x_{\min }}} \right)\left( {{y_{\max }} - {y_{\min }}} \right) ,其中{x_{\max }} 和{x_{\min }} 分别代表运动范围内x 坐标的最大值和最小值,{y_{\max }} 和{y_{\min }} 分别代表运动范围内y 坐标最大值和最小值。4.2.2 仿真场景
为了更好地展示目标的跟踪结果和比较不同算法的跟踪性能,将所有量测通过坐标转换统一使用笛卡儿坐标系显示。图4为杂波数的期望
{E_\lambda } = 80 ,检测概率{p_d} = 0.99 时的仿真轨迹与量测图。在图4所示场景中,每种颜色的量测点对应同一颜色的目标,5个目标在观测范围内沿不同方向匀速直线运动,采样间隔为1 s,总采样次数为47。4个目标在第17到第23采样时间范围内发生了第1次交叉,2个目标在第38到第40采样时间范围内发生了第2次交叉。4.2.3 实验结果与分析
图5展示
{E_\lambda } = 80 ,{p_d} = 0.99 时不同算法的跟踪结果,图6显示了4种算法的OSPA距离对比,其中OSPA的参数为p = 2 ,c = 500 。在k = 10 之前存在Transformer-DA算法的OSPA距离高于JPDA算法和Bi-LSTM算法的情况,这是由于不同算法确定的量测不相同,会影响协方差的更新和滤波增益,进而影响跟踪结果。在第1次目标交叉中,多个目标的相互靠近产生了较为复杂的数据关联问题,可以定性地分析得到,HA算法的OSPA距离最大。在目标发生数据关联后,JPDA, Bi-LSTM的OSPA距离呈上升趋势。HA在两次交叉中的OSPA距离都会明显增大。然而,本文所提出的Transformer-DA算法的OSPA距离总体来说最小。不同检测概率下的OSPA距离如表2所示,通过分析可以得到,HA算法受检测概率的影响较大,Bi-LSTM算法受到检测概率的影响较小,本文所提出的Transformer-DA算法在不同检测概率下的OSPA距离都最小。
表 2 使用仿真数据时算法在不同检测概率下的OSPA对比Table 2. OSPA comparison of the algorithm under different detection probabilities when using simulation data算法 {p_d} = 0.99 {p_d} = 0.90 {p_d} = 0.60 HA 81.39 145.88 573.64 JPDA 159.38 217.10 487.70 Bi-LSTM 99.95 120.43 257.19 Transformer-DA 39.47 51.28 134.65 4.3 真实轨迹数据实验
为了进一步评估所提多目标跟踪算法的有效性,我们使用了实际的目标轨迹进行实验,由于缺少真实量测数据,通过使用4.2节中加高斯噪声的方法模拟量测。本节实验使用的实际轨迹共750条,每5条轨迹形成一个多目标场景,总计150个多目标场景,其中60%用于训练,20%用于验证和20%用于测试。
机载雷达工作在X频段,信号带宽为20 MHz,脉冲重复频率为1000 Hz。跟踪的目标为空中目标,均作变速运动,其中目标4的轨迹存在机动转弯。
4.3.1 真实场景
{E_\lambda } = 80 ,{p_d} = 0.99 时的真实轨迹与仿真量测如图7所示。在第55到第80扫描时间范围内,目标2和目标4会产生数据关联问题,将会导致量测同时落入两个目标的跟踪波门内。4.3.2 实验结果与分析
图8展示了参数为
{E_\lambda } = 80 ,{p_d} = 0.99 下不同算法的跟踪结果,图9显示了4种算法的OSPA距离对比,其中OSPA的参数为p = 2 ,c = 2000 。在第55到第80扫描时间范围内,目标的相互靠近产生了较为复杂的数据关联问题,可以定性地分析得到,HA, JPDA和Bi-LSTM算法的OSPA距离都会增大,其中,HA算法受到的影响最大。然而,本文所提出的Transformer-DA算法的OSPA距离总体来说最小。不同检测概率下的OSPA距离如表3所示,通过分析可以得到,HA算法受检测概率的影响较大,Bi-LSTM算法受到检测概率的影响较小,JPDA在检测概率较高时的OSPA距离比HA和Bi-LSTM算法小,本文所提出的Transformer-DA算法在不同检测概率下的OSPA距离都最小。
表 3 使用实际数据时算法在不同检测概率下的OSPA对比Table 3. OSPA comparison of the algorithm under different detection probabilities when using actual data算法 {p_d} = 0.99 {p_d} = 0.90 {p_d} = 0.60 HA 1000.76 1347.90 1859.65 JPDA 590.68 793.12 1319.21 Bi-LSTM 695.75 810.34 1256.33 Transformer-DA 481.91 587.63 923.10 本文通过引入虚拟量测这一概念,使得Transformer-DA算法可以适用于目标漏检的情况。对4.2节和本节实验的数据分析可以得到在不同检测概率条件下所提Transformer-DA算法识别漏检目标的准确率,如表4所示。
表 4 不同检测概率下所提算法识别漏检目标的准确率(%)Table 4. The accuracy of the proposed algorithm to identify missed targets under different detection probabilities (%)实验类型 {p_d} = 0.90 {p_d} = 0.60 仿真数据实验 95.83 93.75 真实轨迹数据实验 95.91 89.90 4.4 算法复杂度对比分析
JPDA算法的运算复杂度为
{O}\left( mn + MM + NM + Nn + NF + nMN \right) ,其中M为落入跟踪波门的量测数,N为可行联合事件数,F为杂波数;HA算法的运算复杂度为{O}\left( {mn} \right) ;Bi-LSTM算法的运算复杂度为{O}\left( {n{d^2}} \right) ,其中d 为隐藏状态大小;本文所提算法的运算复杂度为{O}\left( {{n^2}d + {m^2}d} \right) 。当目标数和量测数较多时,JPDA算法产生的可行联合事件数N的值会很大,此时JPDA算法的计算复杂度最大。在所有算法中,HA算法的复杂度最低,本文所提算法比Bi-LSTM算法的运算复杂度大。5. 结论
本文提出了一种基于Transformer的数据关联网络,可以在没有目标运动模型和杂波密度等先验信息的情况下,从训练样本中学习目标与量测的匹配关系。所提网络可以提取目标的运动特征信息并学习轨迹与量测之间的数据关联,从而预测输出分类矩阵得到目标与量测之间的关联概率。通过对比实验可以发现,提出的网络具有以下优点:当多个目标交叉时,提出的网络可以解决多目标和多量测的匹配问题;在一定的噪声干扰环境下,提出的网络具有更好的跟踪鲁棒性;在不同检测概率条件下,所提Transformer-DA算法的OSPA距离最小,因而能够提升多目标的跟踪性能。
-
表 1 Transformer-DA网络参数
Table 1. Transformer-DA network parameters
参数 数值 编码器输入数据维度 5 \times 20 解码器输入数据维度 100 \times 4 输出数据维度 100 \times 6 多头注意力的头数 8 编码器输入最大序列长度 5 解码器输入最大序列长度 100 解码器数目 6 编码器数目 6 前向传播网络大小 512 隐藏层大小 512 Dropout率 0.1 表 2 使用仿真数据时算法在不同检测概率下的OSPA对比
Table 2. OSPA comparison of the algorithm under different detection probabilities when using simulation data
算法 {p_d} = 0.99 {p_d} = 0.90 {p_d} = 0.60 HA 81.39 145.88 573.64 JPDA 159.38 217.10 487.70 Bi-LSTM 99.95 120.43 257.19 Transformer-DA 39.47 51.28 134.65 表 3 使用实际数据时算法在不同检测概率下的OSPA对比
Table 3. OSPA comparison of the algorithm under different detection probabilities when using actual data
算法 {p_d} = 0.99 {p_d} = 0.90 {p_d} = 0.60 HA 1000.76 1347.90 1859.65 JPDA 590.68 793.12 1319.21 Bi-LSTM 695.75 810.34 1256.33 Transformer-DA 481.91 587.63 923.10 表 4 不同检测概率下所提算法识别漏检目标的准确率(%)
Table 4. The accuracy of the proposed algorithm to identify missed targets under different detection probabilities (%)
实验类型 {p_d} = 0.90 {p_d} = 0.60 仿真数据实验 95.83 93.75 真实轨迹数据实验 95.91 89.90 -
[1] BERTSIMAS D, SAUNDERS Z, and SHTERN S. Multitarget tracking via mixed integer optimization[J]. IEEE Transactions on Automatic Control, 2018, 63(11): 3627–3642. doi: 10.1109/TAC.2018.2832468 [2] EMAMI P, PARDALOS P M, ELEFTERIADOU L, et al. Machine learning methods for solving assignment problem in multi-object tracking[J]. arXiv: 1802.06897, 2018. [3] WANG Jianguo, HE Peikun, and CAO Wei. Study on the Hungarian algorithm for the maximum likelihood data association problem[J]. Journal of Systems Engineering and Electronics, 2007, 18(1): 27–32. doi: 10.1016/S1004-4132(07)60045-0 [4] ZHENG Le and WANG Xiaodong. Improved multiple hypothesis tracker for joint multiple target tracking and feature extraction[J]. IEEE Transactions on Aerospace and Electronic Systems, 2019, 55(6): 3080–3089. doi: 10.1109/TAES.2019.2897035 [5] ZHANG Guangnan and LIU Penghui. Probabilistic data association algorithm based on modified input estimation[C]. 2011 7th International Conference on Wireless Communications, Networking and Mobile Computing, Wuhan, China, 2011: 1–4. [6] NI Longqiang, GAO Shesheng, and XUE Li. Improved probabilistic data association and its application for target tracking in clutter[C]. 2011 International Conference on Electronics, Communications and Control (ICECC), Ningbo, China, 2011: 293–296. [7] WANG Yuhuan, WANG Jinkuan, and WANG Bin. A modified multi-target tracking algorithm based on joint probability data association and Gaussian particle filter[C]. The 11th World Congress on Intelligent Control and Automation, Shenyang, China, 2014: 2500–2504. [8] HE Shaoming, SHIN H S, and TSOURDOS A. Joint probabilistic data association filter with unknown detection probability and clutter rate[C]. 2017 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), Daegu, Korea, 2017: 559–564. [9] AINSLEIGH P L, LUGINBUHL T E, and WILLETT P K. A sequential target existence statistic for joint probabilistic data association[J]. IEEE Transactions on Aerospace and Electronic Systems, 2021, 57(1): 371–381. doi: 10.1109/TAES.2020.3018899 [10] HOPFIELD J J and TANK D W. “Neural” computation of decisions in optimization problems[J]. Biological Cybernetics, 1985, 52(3): 141–152. doi: 10.1007/bf00339943 [11] LEE M, XIONG Yuanhao, YU Guanding, et al. Deep neural networks for linear sum assignment problems[J]. IEEE Wireless Communications Letters, 2018, 7(6): 962–965. doi: 10.1109/LWC.2018.2843359 [12] MILAN A, REZATOFIGHI S H, GARG R, et al. Data-driven approximations to NP-hard problems[C]. The Thirty-First AAAI Conference on Artificial Intelligence, San Francisco, USA, 2017: 1453–1459. [13] LIU Huajun, ZHANG Hui, and MERTZ C. DeepDA: LSTM-based deep data association network for multi-targets tracking in clutter[C]. 2019 22th International Conference on Information Fusion (FUSION), Ottawa, Canada, 2019: 1–8. [14] VERMA R, RAJESH R, and EASWARAN M S. Modular multi target tracking using LSTM networks[EB/OL]. https://arxiv.org/abs/2011.09839, 2020. [15] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]. Advances in Neural Information Processing Systems 30 (NIPS 2017), Long Beach, USA, 2017. [16] CHEN Yonghui and LI Huiying. DAM: Transformer-based relation detection for question answering over knowledge Base[J]. Knowledge-Based Systems, 2020, 201/202: 106077. doi: 10.1016/j.knosys.2020.106077 [17] PILAULT J, LI R, SUBRAMANIAN S, et al. On extractive and abstractive neural document summarization with transformer language models[C]. The 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020: 9308–9319. [18] ZHANG Qian, LU Han, SAK H, et al. Transformer transducer: A streamable speech recognition model with transformer encoders and RNN-T loss[C]. ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Barcelona, Spain, 2020: 7829–7833. [19] XU Yihong, BAN Yutong, DELORME G, et al. TransCenter: Transformers with dense queries for multiple-object tracking[EB/OL]. https://arxiv.org/abs/2103.15145v1, 2021. [20] SUN Peize, CAO Jinkun, JIANG Yi, et al. TransTrack: Multiple object tracking with Transformer[EB/OL]. https://arxiv.org/abs/2012.15460, 2021. [21] MEINHARDT T, KIRILLOV A, LEAL-TAIXE L, et al. Trackformer: Multi-object tracking with transformers[EB/OL]. https://arxiv.org/abs/2101.02702, 2021. [22] STORMS P P A and SPIEKSMA F C R. An LP-based algorithm for the data association problem in multitarget tracking[J]. Computers & Operations Research, 2003, 30(7): 1067–1085. doi: 10.1016/S0305-0548(02)00057-6 [23] RISTIC B, VO B N, CLARK D, et al. A metric for performance evaluation of multi-target tracking algorithms[J]. IEEE Transactions on Signal Processing, 2011, 59(7): 3452–3457. doi: 10.1109/TSP.2011.2140111 [24] 马天力. 复杂环境下机载雷达多机动目标跟踪关键技术研究[D]. [博士论文], 西北工业大学, 2018.MA Tianli. Research on the key technology of multiple maneuvering targets tracking for airborne radar under complex environment[D]. [Ph. D. dissertation], Northwestern Polytechnical University, 2018. 期刊类型引用(5)
1. 李天成,谢昱昕,李固冲,范红旗. 面向多目标跟踪的数据关联方法研究综述. 雷达科学与技术. 2025(01): 10-31 . 百度学术
2. 张强,王淳,陈亚伟. 基于Transformer网络的无人机目标航迹关联方法. 空天预警研究学报. 2025(02): 90-92+98 . 百度学术
3. 田野,丁赤飚,张福博,石民安. 一种基于深度学习的SAR城市建筑区域叠掩精确检测方法. 雷达学报. 2023(02): 441-455 . 本站查看
4. 刘存领,林青松,于洪泽. 基于FPGA的运动目标远程监视系统设计. 计算机测量与控制. 2023(05): 21-27 . 百度学术
5. 马超,辛增献,马亮,蒋张涛,王灿. 智能信号处理平台技术综述. 制导与引信. 2022(04): 17-23 . 百度学术
其他类型引用(13)
-