「自動駕駛新青年講座」由智猩猩企劃，致力于邀請全球知名高校、頂尖研究機構以及優秀企業的新青年，主講在環境感知、精準定位、決策規劃、控制執行等自動駕駛關鍵技術上的最新研究成果和開發實踐。
「自動駕駛新青年講座」目前已完結33講;有興趣分享的朋友，可以與智猩猩教研團隊進行郵件（class@jmfly.net）聯系
3D 場景感知對于自動駕駛的安全性至關重要。來自新加坡國立大學的博士生孔令東等人在 NeurIPS 2023 上提出了一個新穎的點云無監督預訓練框架 Seal，該框架旨在利用視覺基礎模型 (VFM) 分割不同的激光雷達點云序列。
Seal 具有以下三點特性：
1) 可擴展性：其將VFM中的知識直接蒸餾到點云上，從而無需在預訓練期間使用任何2D 或3D 標注。
2）一致性：其在相機到激光雷達和點到簇兩個正則化階段分別進行了空間和時間約束，以促進跨模式表示學習。
3) 通用性：Seal能夠將現有模型中的知識遷移到涉及不同類型點云的下游任務中，包括了來自真實/合成、低/高分辨率、大/小規模以及干凈/損壞數據集的點云等。
在共11個不同的點云數據集上進行的廣泛實驗，也驗證了 Seal 的有效性和優越性。 該成果已被 NeurIPS 2023 收錄為 Spotlight。
除了 Seal，在如何提升 3D 場景感知可靠性上，孔令東還分別提出了首個關注于使用半監督信號進行激光雷達點云語義分割的框架?LaserMix 和包含惡劣天氣條件、外部干擾和內部傳感器故障引起的八種損壞類型的 3D 感知模型測試基線 Robo3D 。
1月11日晚7點，「自動駕駛新青年講座」第34講邀請到 Seal 一作、新加坡國立大學在讀博士孔令東參與，主講《運用視覺基礎模型分割「任意」激光雷達點云》，包括 Seal、LaserMix 和 Robo3D 等成果內容。
講者
孔令東,新加坡國立大學計算機系在讀博士;研究方向包括3D場景感知、域適應和無監督表征學習等；曾于Motional進行自動駕駛場景感知方向的研究實習；相關研究工作已發表于TPAMI、CVPR、ICCV、NeurIPS和ICRA等國際期刊和會議中，并入選Highlight、Spotlight和Best Workshop Paper。
第34講
主 題
《運用視覺基礎模型分割「任意」激光雷達點云》
提 綱
1、大模型在自動駕駛點云分割中的應用
2、半監督激光雷達點云語義分割 LaserMix
3、使用 VFM 的無監督預訓練點云分割框架 Seal
4、Seal 的有效性和優越性驗證
5、3D 場景感知的可靠性探索
直 播 信 息
直播時間：1月11日19:00
直播地點：智東西公開課知識店鋪
成果
論文標題
《Segment Any Point Cloud Sequences by Distilling Vision Foundation Models》
《LaserMix for Semi-Supervised LiDAR Semantic Segmentation》
《Robo3D: Towards Robust and Reliable 3D Perception against Corruptions》
?論文地址
//arxiv.org/pdf/2306.09347.pdf
//arxiv.org/pdf/2207.00026.pdf
//arxiv.org/pdf/2303.17597.pdf
代碼鏈接
//github.com/youquanl/Segment-Any-Point-Cloud
//github.com/ldkong1205/LaserMix
//github.com/ldkong1205/Robo3D.
