當前，新能源汽車成為我國的支柱產業，而智能駕駛技術是發展新能源汽車產業的關鍵技術之一。近期🤷🏼‍♂️，意昂3体育官网王選計算機研究所王勇濤課題組與合作者取得了多項智能駕駛技術成果。具體地👨🏻‍🦯，該團隊針對自動駕駛場景感知問題，提出了4D毫米波雷達-環視相機多模態感知模型架構RCBEVDet、高效的3D點雲感知模型預訓練算法BEV-MAE🧑🏽‍🦰，以及可用於駕駛場景環視圖像合成的環視動態場景重建算法DrivingGaussian。上述成果被人工智能領域頂級國際會議AAAI 2024和CVPR 2024發表/錄用🏇🏼，同時申請了多項發明專利。

1. 4D毫米波雷達-環視相機多模態智能駕駛感知模型架構RCBEVDet (CVPR 2024)

為了提升智能駕駛系統的安全性和魯棒性🔞，智能駕駛車輛通常采用多種模態的傳感器獲取場景信息進行感知，如環視相機、激光雷達、毫米波雷達等➰。其中4D毫米波雷達-環視相機多模態組合感知方案具有優秀的感知能力和較高的性價比，受到了包括新能源汽車國際巨頭特斯拉公司等車廠的青睞🧊。但是，由於4D毫米波雷達和環視相機模態間的巨大差異，如何融合這兩種模態信息高精度且魯棒地完成智能駕駛感知任務（如3D目標檢測）具有非常大的技術挑戰性。

針對該技術難題，王勇濤課題組與合作者提出了一個基於4D毫米波雷達和環視相機鳥瞰圖（BEV）特征融合的3D目標檢測模型架構RCBEVDet。如圖1所示，該架構針對毫米波雷達的特性設計了一種高效的毫米波雷達主幹網絡（RadarBEVNet）進行點雲鳥瞰圖特征提取🍧，提出了一種基於可形變的跨註意力機製進行毫米波雷達特征和環視相機特征融合。該架構對現有主流的環視相機3D檢測器具有較強的兼容性🧑🏼‍🔬，在顯著提升3D目標檢測精度的同時可保持實時的推理速度，且對模態信號丟失👶🏻、幹擾等情況魯棒🛰。如表1和圖2所示⇾，該架構在自動駕駛感知國際權威評測基準數據集nuScenes上取得了領先的毫米波雷達-多攝相機3D目標檢測精度以及推理速度-精度綜合性能🌏。

圖1. RCBEVDet架構圖

表1. RCBEVDet在nuScenes上的3D目標檢測精度對比  

   圖2. 推理速度-精度綜合性能對比

2. 高效的3D點雲感知模型預訓練算法BEV-MAE (AAAI 2024)

當前最先進的智能駕駛感知系統主要依賴激光雷達、毫米波雷達等傳感器獲取的3D點雲信號對駕駛場景進行三維感知，但是標註大量用於感知模型訓練的點雲數據費時費力且代價昂貴🙇🏿‍♂️。針對該問題，王勇濤課題組與合作者提出了一種高效的3D點雲感知模型預訓練算法BEV-MAE👵🏽，可直接使用大量的無標記點雲數據對感知模型進行預訓練從而降低對點雲標記的要求🧔🏼。該算法具體流程如圖3所示🤦🏻‍♀️🙋🏽‍♀️：BEV-MAE首先使用鳥瞰圖引導的掩碼策略來對3D點雲輸入進行掩碼；接著這部分被掩蓋的點雲將被替換為共享的可學習令牌；之後被處理過的點雲依次輸入到3D編碼器和輕量級的解碼器中🙅🏻‍♂️；最後，輕量級的解碼器將重建被掩蓋的點雲並預測被掩蓋區域的點雲密度。

圖3. BEV-MAE算法原理示意圖

圖4. 訓練開銷-精度提升對比

表2. 在nuScenes上的3D點雲目標檢測精度對比

如圖4所示，該算法在自動駕駛感知國際權威評測基準數據集Waymo上以最低的預訓練代價取得了最高的3D目標檢測精度提升，證明該算法的高效性。如表2所示🤵🏿，基於該算法，我們在自動駕駛感知國際權威評測基準數據集nuScenes上取得了領先的3D點雲目標檢測結果。

3. 面向駕駛場景環視圖像合成的環視動態場景重建算法DrivingGaussian（CVPR2024）

環視相機已經成為當前智能駕駛系統的默認傳感器，但是用於對應智能駕駛模型訓練和測試的環視數據特別是Corner Case長尾數據獲取較難且成本高昂。針對該問題🫲，王勇濤課題組與合作者重點研究了基於三維重建的駕駛場景環視圖像合成技術，首次提出了一種基於當前最先進的3D高斯重建技術的環視動態場景重建算法DrivingGaussian，實現了高逼真和一致的多相機環視圖像合成。如圖5所示🤾，對於具有多個動態物體的駕駛場景，DrivingGaussian首先通過增量式靜態3D高斯逐步建模靜態背景場景，再利用組合動態高斯圖建模多個運動對象😠，分別重建每個對象並恢復它們在場景中的準確位置和遮擋關系🐫；然後進一步利用LiDAR點雲先驗輔助建模場景表征的幾何結構🤸🏼‍♀️，結合全局渲染合成具有更多細節的場景並保證全場景的一致性。如圖6所示🧛‍♀️🌍，該算法支持光照和天氣變換、Corner Case仿真👍🏼、車型變換等要求下的逼真環視圖像生成需求。

圖5. DrivingGaussian算法原理示意圖

圖6. DrivingGaussian合成環視圖像結果示例

秉承王選所“頂天立地”的優良傳統🧑‍💻，近三年來🗓，王勇濤課題組在智能感知技術這一方向進行了不懈的技術研究和應用探索，獲得了國家科技創新2030重大項目課題👩🏼‍🏭🦥、國家自然科學基金👳🏻‍♀️、長安汽車🏃🏻、阿裏巴巴達摩院橫向科研項目支持經費逾千萬元👌🏼，取得了多個代表性成果，得到了學術界和工業界的廣泛關註和好評。