學校主頁 黨委宣傳部 新聞網
學校主頁 黨委宣傳部 新聞網

北理工在語義深層特征的目標跟蹤方面取得新進展


  近日,北京理工大学光电学院许廷发科研团队在语义深层特征的孪生网络目标跟踪方面取得新进展,相关研究成果以“SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning”为题发表在人工智能领域的国际顶级期刊《IEEE Transactions on Cybernetics(IEEE TCYB)》(IF=11.079)上。IEEE TCYB是人工智能领域具有高影响力的国际学术刊物之一,在2020年该领域120余种JCR期刊中排名前列,影响因子为11.079,中科院一区,主要发表和报道计算智能、人工智能、数据科学和神经网络等领域的最新研究进展和技术。该工作第一作者为北京理工大学博士研究生黄博,通讯作者为北京理工大学许廷发教授。 

  隨著人工智能的發展,具有語義深層特征的視覺目標跟蹤在計算機視覺中引起了很多關注。尤其是旨在學習基于決策相似性評估的孿生網絡,在跟蹤領域中得到了廣泛的應用。但是,孿生跟蹤網絡的在線更新存在局限性,即模型自適應和退化難以達到平衡。 

  針對這一科學問題,北京理工大學許廷發教授團隊率先提出基于注意力遷移學習的孿生跟蹤模型。

980b66b64fa44e71adb3131b8f8cb5c8.jpg

图1 注意力迁移学习的孪生跟踪模型 

  爲了充分利用先前的信息,該模型將特征表示知識、學習濾波器知識和時空注意力知識轉移到當前的模板更新過程中。從曆史跟蹤任務中學習到的特征表示,以解決當前跟蹤任務中缺少高質量訓練數據的問題。引入了一個實例轉移判別相關濾波器來增強孿生網絡的決策能力。預定義基于時空關系的類高斯矩陣來控制不同空間位置的學習權重,並使用L2損失函數來計算更新的目標模板。 

c5af7e7991c9433581a596ce8aff7186.jpg

图2 传统更新过程和注意力更新过程比较 

  在Basketball序列中,傳統方法的使用較低學習率,更新後的目標外觀中仍然存在原始目標和背景的“鬼影”,嚴重影響當前幀的檢測精度。在Lemming序列中,傳統方法使用較高的學習率,目標的嚴重遮擋使傳統模型逐漸退化,最終導致更新的模板完全失效。因此,模型自適應和退化與單一學習率之間難以取得平衡,注意力學習方法可以很好地解決這一難題。 

e75a9dc2ff364dfdaee92da44bc0cfa6.jpg

图3 空间权重G的可视化分析 

  在G矩陣中,中心目標區域被賦予較高的權重,而邊界背景區域被賦予較低的權重。這種注意力學習策略可以在更新的孿生模板分支中引入更多背景信息,而不會汙染中心目標區域。 

4d03f7e9bebb41118ae5341313b91a7a.jpg

图4 注意力迁移学习的孪生跟踪结果 

  該項研究爲孿生網絡的更新設計提供了新的思路,提出的注意力遷移學習策略可以作爲通用模塊應用于大多數孿生跟蹤器,並提高其性能。 


  附第一作者簡介: 

  黄博,北京理工大学光电学院2016级硕博连读博士生,师从许廷发教授,研究方向为计算机视觉和深度学习。现已发表学术论文17篇,其中SCI 10篇,累计总影响因子达57.221。 以第一作者发表论文9篇,其中6篇发表于IEEE TCYB、IEEE TMM、PR、Neurocomputing等高水平SCI期刊,累计影响因子达36.152。申请中国发明专利1项,软著3项。同时,还多次担任IEEE TCSVT、Neurocomputing等SCI期刊审稿人。曾获得光电设计竞赛二等奖、研究生数学建模三等奖、首都“挑战杯”一等奖、“世纪杯”特等奖、“百科融创杯”电子设计竞赛一等奖、电子设计竞赛北京市二等奖、优秀研究生、优秀团干部等荣誉。 

  通訊作者簡介: 

  許廷發,教授,博導,國家一級重點學科“光學工程”責任教授,光電成像技術與系統教育部重點實驗室副主任。近年來帶領其科研團隊圍繞光電成像探測與識別、高光譜計算成像處理等方向不斷深化研究。主持承擔國家自然科學基金委重大科研儀器研制項目等30多項。在國際、國內等系列期刊發表學術論文120余篇,其中被SCI/EI收錄80余篇。以第一發明人申請國家發明專利40項,已授權和公示15項。

  论文详情:Bo Huang, Tingfa Xu, Ziyi Shen, Shenwang Jiang, Bingqing Zhao, and Ziyang Bian. SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning. IEEE Transactions on Cybernetics, 2020, DOI: 10.1109/TCYB.2020.3043520 论文链接:https://ieeexplore.ieee.org/document/9318529



分享到: