「自動(dong)駕(jia)駛新青年講座」由智(zhi)東西公開(kai)(kai)課全(quan)新企劃,將邀請(qing)全(quan)球(qiu)知名高校、頂尖(jian)研究(jiu)機構以(yi)及優秀企業(ye)的(de)新青年,主講在環境感(gan)知、精準定位(wei)、決策(ce)規(gui)劃、控(kong)制執行等自動(dong)駕(jia)駛關(guan)鍵技術上的(de)最新研究(jiu)成(cheng)果和開(kai)(kai)發實踐(jian)。
「自動駕駛(shi)新青年講座」目前已完結13講!有興趣(qu)分享的朋(peng)友,可以與智東(dong)西公開(kai)課教(jiao)研團隊進行郵件(jian)(class@jmfly.net)聯系。
激(ji)(ji)光雷達三維(wei)物體目標檢測是自動駕駛(shi)感(gan)知(zhi)中的重要一環。伴隨(sui)著 Transformer 在圖(tu)像領域(yu)中的快速發展(zhan),如何在大規模(mo)激(ji)(ji)光雷達點(dian)云數據上(shang),高效的使用 Transformer 結構來提(ti)升網(wang)絡的性能給這個方向帶來了新的挑戰。相(xiang)比于傳統的方法,Transformer 中的注意力機制(zhi)可以(yi)幫(bang)助網(wang)絡捕捉到更多的全(quan)局和上(shang)下文信(xin)息。
來(lai)(lai)自圖森未來(lai)(lai)和中(zhong)佛羅里(li)達(da)大(da)學的(de)研究(jiu)者(zhe)們,在(zai) ECCV 2022 的(de)工作中(zhong)提出(chu)了一種(zhong)基于中(zhong)心點的(de)激光雷(lei)達(da)物(wu)體檢測(ce) Transformer 網絡 CenterFormer。CenterFormer 將(jiang)三維物(wu)體檢測(ce)劃分成了兩個步(bu)驟:首先,在(zai)三維網格空間內(nei)使用熱力圖來(lai)(lai)挑選(xuan)候選(xuan)的(de)物(wu)體中(zhong)心點;然(ran)后,用這(zhe)些候選(xuan)中(zhong)心點的(de)特征信息來(lai)(lai)作為 Transformer 中(zhong)的(de) query 來(lai)(lai)進一步(bu)增強(qiang)物(wu)體的(de)特征信息并(bing)預測(ce)邊(bian)界框信息。
同時,為了(le)(le)進一(yi)步融(rong)合(he)(he)來(lai)自時序的(de)特征(zheng),他們也設計了(le)(le)一(yi)種通過(guo) Transformer 中交叉注(zhu)意力來(lai)融(rong)合(he)(he)特征(zheng)的(de)方法,并添(tian)加(jia)回歸頭來(lai)預測輸出中心特征(zheng)表示(shi)的(de)邊界(jie)框,該設計降低了(le)(le) Transformer 結(jie)構在激光雷達點云上的(de)收斂難度和計算復雜度。結(jie)果表明,在無錨目標檢測網(wang)絡(luo)的(de)強基線方面(mian)有(you)顯著(zhu)改進。
CenterFormer 在 Waymo 開放數據集(ji)上實現(xian)了單個模型的最高性(xing)能,驗(yan)證集(ji)的 mAPH 為 73.7%,測試集(ji)的 mAPH 為 75.6%,顯著優于(yu)所有先前發布(bu)的 CNN 和基于(yu)Transformer的方法。該成果(guo)也已被收錄為 ECCV 2022 Oral。
2月3日上午10點,「自動駕駛新(xin)青年(nian)講座」第14講邀請(qing)到中(zhong)佛(fo)羅(luo)里達(da)大學在讀博士、CenterFormer一作周子翔參與,主講《基于 Transformer 激光雷達(da) 3D 目標檢測網絡 CenterFormer》。
講者
周子翔,中佛羅里達大學在(zai)讀博士;主要研究興趣是(shi)三維視覺和激光雷達感(gan)知的應用(yong);在(zai)CVPR、ECCV、AAAI等(deng)學術會議(yi)上發表過多(duo)篇(pian)論文。
第14講
主 題
《基于(yu) Transformer 激(ji)光雷達 3D 目標檢測網絡 CenterFormer》
提 綱
1、激光雷達 3D 目標檢測算法研究
2、Transformer 與大規模激光雷達點云數據
3、基于中心點的激光雷達目標檢測 Transformer 網絡
4、與之前 CNN 和 Transformer 方法的(de)對比
直 播 信 息
直播時間:2月3日10:00
直播地(di)點:智東西公開課知識(shi)店鋪
成果
CenterFormer:《CenterFormer: Center-based Transformer for 3DObject Detection》
?論文地址://arxiv.org/pdf/2209.05588v1.pdf
?開源地址://github.com/TuSimple/centerformer