近日，中國科學院上海微系統(tǒng)與信息技術研究所仿生視覺系統(tǒng)實驗室研究員李嘉茂團隊與合作者在智能駕駛感知領域取得進展。針對智能駕駛感知的兩個關鍵問題——柵格占據(jù)預測和全景分割進行研究，兩項成果分別被機器人領域國際學術會議2024 IEEE International Conference on Robotics and Automation（ICRA）錄用。

在智能駕駛中，柵格占據(jù)預測旨在表征空間中的對象分布，以指導路徑選擇。最直接的表征方法是將立體空間劃分為無數(shù)個堆疊的占據(jù)體素，但龐大的計算量導致難以在實車中部署。鳥瞰視角（BEV）的表征方式，將空間投影于單個水平面，可以大幅減少計算與存儲壓力，但由于缺失細粒度的結構信息，在開放場景中對象的形狀或外觀不明確時，往往會出現(xiàn)錯誤估計障礙物的情況。TPVFormer基于傳統(tǒng)三視圖的占據(jù)預測方法，在BEV基礎上將表征平面擴展至三個，可客觀精細地表征三維環(huán)境，但該方法忽略了自車與表征平面的相對關系，導致場景中的視角重疊障礙物間難以分辨。

為解決上述問題，在TPVFormer基礎上，該團隊提出了一種以自車為中心的環(huán)視視角的占據(jù)預測表征方法CVFormer。以汽車全景環(huán)視多視圖為輸入，建立環(huán)繞車輛的二維正交視角來表征三維場景，有效實現(xiàn)細粒度三維場景表征，并克服車體周身障礙物的視角遮擋問題。具體地，該研究提出了環(huán)視視圖交叉注意力模塊構建二維環(huán)視特征，設計時序多重注意力模塊加強幀間關系的利用，并通過設計2D與3D類別一致性約束，增強網(wǎng)絡對場景的學習性能。此方法在nuScenes數(shù)據(jù)集上進行驗證，在預測精度上明顯優(yōu)于現(xiàn)有算法，達到了43.09%的mIoU性能指標，相比基線算法提高了102.3%，并將計算復雜度由O(n3)降低至O(n)，展現(xiàn)了較強的可部署性，在路特斯下一代量產車型智能駕駛感知系統(tǒng)上完成了測試驗證。

全景分割是理解場景中背景與對象個體的語義的基礎感知問題，是融合了語義分割與實例分割的綜合方法。其中，語義分割關注將圖像中的區(qū)域分割為不同的類別，而不區(qū)分不同的物體實例；實例分割則側重對每個實例對象進行獨立的分割。全景分割往往基于語義分割與實例分割的融合實現(xiàn)，既區(qū)分場景語義，又需要明確物體實例。全景分割方法在語義-實例分割任務融合中，往往由于二者預測結果間的矛盾，導致難以分辨合理的預測結果。

為解決這一問題，該團隊設計了基于門控編碼和邊緣約束的端到端全景分割模型BEE-Net。該模型基于全局雙向信息交互以及多角度邊緣優(yōu)化，有效地緩解了全景分割中的語義-實例預測矛盾問題與邊緣分割挑戰(zhàn)。具體地，針對語義與實例分割特征感知融合，研究人員設計了輕量級門控編碼模塊進行多尺度全局特征信息交互，并通過語義-實例-全景三重邊緣優(yōu)化算法對邊緣分割質量進行針對性優(yōu)化，保持高效的同時，提升了場景分割性能。該方法在駕駛場景分割數(shù)據(jù)集CityScapes上完成了驗證，取得了65.0%的PQ精度指標，在精度上超越了現(xiàn)有基于CNN的全景分割模型，同時在效率上優(yōu)于所有基于Transformer的全景分割模型。該方法兼顧了分割精度與效率的性能需求，在路特斯下一代量產車型智能駕駛感知系統(tǒng)上完成了測試驗證。

上述研究成果得到科技創(chuàng)新2030-重大項目、國家自然科學基金、中國科學院青年創(chuàng)新促進會、上海市優(yōu)秀學術帶頭人計劃等的支持。