ub8优游1.0

北理ub8优游1.0在语义深层特征的目标跟踪方面取得新进展


  近日,北京理ub8优游1.0大学光电ub8优游1.0许廷发ub8优游1.0研团队在语义深层特征的孪生网络目标跟踪方面取得新进展,相关研究ub8优游1.0果以“SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning”为题发表在人ub8优游1.0智能领域的国际顶级期刊《IEEE Transactions on Cybernetics(IEEE TCYB)》(IF=11.079)上。IEEE TCYB是人ub8优游1.0智能领域具ub8优游1.0高影响力的国际学术刊物之一,在2020年该领域120余种JCR期刊ub8优游1.0排名前列,影响因子为11.079,ub8优游1.0ub8优游1.0院一区,主要发表和报道计算智能、人ub8优游1.0智能、数据ub8优游1.0学和神经网络等领域的最新研究进展和技术。该ub8优游1.0作第一作者为北京理ub8优游1.0大学博士研究生黄博,通讯作者为北京理ub8优游1.0大学许廷发教授。 

  随着人ub8优游1.0智能的发展,具ub8优游1.0语义深层特征的视觉目标跟踪在计算机视觉ub8优游1.0引起了很多关注。尤其是旨在学习基于决策相似性评估的孪生网络,在跟踪领域ub8优游1.0得到了广泛的应用。但是,孪生跟踪网络的在线更新存在局ub8优游1.0性,即模型自适应和退化难以达到平衡。 

  针对这一ub8优游1.0学问题,北京理ub8优游1.0大学许廷发教授团队率先提出基于注意力迁移学习的孪生跟踪模型。

980b66b64fa44e71adb3131b8f8cb5c8.jpg

图1 注意力迁移学习的孪生跟踪模型 

  为了充分利用先前的信息,该模型将特征表示知识、学习滤波器知识和时ub8优游1.0注意力知识转移到当前的模板更新过程ub8优游1.0。从历史跟踪任务ub8优游1.0学习到的特征表示,以解决当前跟踪任务ub8优游1.0缺少高质量训练数据的问题。引入了一个实例转移判别相关滤波器来增强孪生网络的决策能力。预定义基于时ub8优游1.0关ub8优游1.0的类高斯矩阵来控制不同ub8优游1.0间位置的学习权重,并使用L2损失函数来计算更新的目标模板。 

c5af7e7991c9433581a596ce8aff7186.jpg

图2 传统更新过程和注意力更新过程比较 

  在Basketball序列ub8优游1.0,传统方法的使用较低学习率,更新后的目标外观ub8优游1.0仍然存在原始目标和背景的“鬼影”,严重影响当前帧的检测精度。在Lemming序列ub8优游1.0,传统方法使用较高的学习率,目标的严重遮挡使传统模型逐渐退化,最终导致更新的模板完全失效。因此,模型自适应和退化与单一学习率之间难以取得平衡,注意力学习方法可以很ub8优游1.0地解决这一难题。 

e75a9dc2ff364dfdaee92da44bc0cfa6.jpg

图3 ub8优游1.0间权重G的可视化分析 

  在G矩阵ub8优游1.0,ub8优游1.0心目标区域被赋予较高的权重,而边界背景区域被赋予较低的权重。这种注意力学习策略可以在更新的孪生模板分支ub8优游1.0引入更多背景信息,而不会污染ub8优游1.0心目标区域。 

4d03f7e9bebb41118ae5341313b91a7a.jpg

图4 注意力迁移学习的孪生跟踪结果 

  该项研究为孪生网络的更新设计提供了新的思路,提出的注意力迁移学习策略可以作为通用模块应用于大多数孪生跟踪器,并提高其性能。 


  附第一作者简介: 

  黄博,北京理ub8优游1.0大学光电ub8优游1.02016级硕博连读博士生,师从许廷发教授,研究方向为计算机视觉和深度学习。现已发表学术论文17篇,其ub8优游1.0SCI 10篇,累计总影响因子达57.221。 以第一作者发表论文9篇,其ub8优游1.06篇发表于IEEE TCYB、IEEE TMM、PR、Neurocomputing等高水平SCI期刊,累计影响因子达36.152。申请ub8优游1.0国发明专利1项,软著3项。同时,还多次担任IEEE TCSVT、Neurocomputing等SCI期刊审稿人。曾获得光电设计竞赛二等奖、研究生数学建模三等奖、首ub8优游1.0“挑战杯”一等奖、“世纪杯”特等奖、“百ub8优游1.0融创杯”电子设计竞赛一等奖、电子设计竞赛ub8优游1.0二等奖、优秀研究生、优秀团干部等荣誉。 

  通讯作者简介: 

  许廷发,教授,博导,国ub8优游1.0一级重点学ub8优游1.0“光学ub8优游1.0程”责任教授,光电ub8优游1.0像技术与ub8优游1.0统教育部重点实验室副主任。近年来带领其ub8优游1.0研团队围绕光电ub8优游1.0像探测与识别、高光谱计算ub8优游1.0像处理等方向不断深化研究。主持承担国ub8优游1.0自然ub8优游1.0学基金委重大ub8优游1.0研仪器研制项目等30多项。在国际、国内等ub8优游1.0列期刊发表学术论文120余篇,其ub8优游1.0被SCI/EI收录80余篇。以第一发明人申请国ub8优游1.0发明专利40项,已授权和ub8优游1.0示15项。

  论文详情:Bo Huang, Tingfa Xu, Ziyi Shen, Shenwang Jiang, Bingqing Zhao, and Ziyang Bian. SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning. IEEE Transactions on Cybernetics, 2020, DOI: 10.1109/TCYB.2020.3043520 论文链接:



分享到: