「自(zi)動駕駛(shi)新青年講(jiang)座」由智(zhi)東(dong)西(xi)公開(kai)課全(quan)新企劃，將邀請全(quan)球知名高校、頂尖研究機構(gou)以及優秀企業(ye)的(de)新青年，主講(jiang)在環境(jing)感知、精準定(ding)位、決策(ce)規劃、控制執行等(deng)自(zi)動駕駛(shi)關鍵技術(shu)上的(de)最新研究成果和開(kai)發(fa)實踐。

有興趣分享的朋友(you)，可以(yi)與智(zhi)東西公開(kai)課教(jiao)研團隊進行郵件(jian)（class@jmfly.net）聯系。

自動(dong)駕(jia)駛和(he)機器人(ren)中的(de)許多應用都(dou)可以(yi)(yi)從(cong)理(li)解動(dong)態環境中點(dian)的(de)三維運(yun)動(dong)中獲益(yi)，這種(zhong)運(yun)動(dong)被(bei)廣泛稱為(wei)場景(jing)流(liu)。場景(jing)流(liu)表(biao)示動(dong)態環境中每個(ge)點(dian)的(de) 3D 運(yun)動(dong)。以(yi)(yi)往(wang)的(de)方(fang)法(fa)大多以(yi)(yi)立體圖像(xiang)和(he)RGB-D圖像(xiang)作為(wei)輸入，很少有直(zhi)接從(cong)點(dian)云估(gu)計場景(jing)流(liu)的(de)方(fang)法(fa)。

來自(zi)(zi)上(shang)海交通大(da)學(xue)的(de)(de)在讀博(bo)士王光明等(deng)人在研究了來自(zi)(zi)兩(liang)個連續 3D 點(dian)云的(de)(de)場(chang)景(jing)流估計問題后，提(ti)出(chu)了一種新(xin)穎的(de)(de)具有(you)雙重(zhong)注(zhu)意(yi)力的(de)(de)分層(ceng)神(shen)經網絡(luo)HALFlow ，用于(yu)學(xue)習(xi)相鄰幀中點(dian)特征的(de)(de)相關(guan)性(xing)，并逐層(ceng)細化場(chang)景(jing)流。實驗(yan)表明，HALFlow 在 FlyingThings3D 和 KITTI Scene Flow 2015 數據集上(shang)優于(yu) 3D 場(chang)景(jing)流估計的(de)(de)最新(xin)性(xing)能。

而(er)為了解(jie)決場(chang)(chang)景(jing)(jing)(jing)流(liu)估(gu)計(ji)中的前(qian)后(hou)估(gu)計(ji)不一致問題(ti)，王博等(deng)人基于流(liu)嵌入技術(shu)，并調(diao)查和比較了 3D 場(chang)(chang)景(jing)(jing)(jing)流(liu)網絡(luo)關鍵組件(jian)中的幾個設(she)計(ji)選擇，包(bao)括點相(xiang)似(si)度計(ji)算、預測器(qi)的輸入元素以及預測器(qi)和細化級別(bie)設(she)計(ji)。在(zai)(zai)仔細選擇最有(you)(you)效的設(she)計(ji)之后(hou)，他們提出了一種新穎的帶有(you)(you)反向驗證的all-to-all的3D場(chang)(chang)景(jing)(jing)(jing)流(liu)學習方(fang)(fang)法3DFlow。3DFlow在(zai)(zai) FlyingThings3D 數(shu)據集上超過所有(you)(you)現有(you)(you)方(fang)(fang)法至少 38.2%，在(zai)(zai) EPE3D 度量的 KITTI 場(chang)(chang)景(jing)(jing)(jing)流(liu)數(shu)據集上超過 24.7%。

同時，他們還將(jiang)提出的(de)網(wang)絡(luo)應用于(yu)自動駕駛(shi)激(ji)光雷達里程(cheng)(cheng)計中，提出了一(yi)種基(ji)于(yu)3D點云輸入的(de)激(ji)光雷達里程(cheng)(cheng)計網(wang)絡(luo)，名為(wei) PWCLO-Net。該里程(cheng)(cheng)計的(de)卓越性能和有效性在(zai) KITTI 里程(cheng)(cheng)計數(shu)據集(ji)(ji)上(shang)也得到(dao)了證明。在(zai)大多(duo)數(shu) KITTI 里程(cheng)(cheng)計數(shu)據集(ji)(ji)上(shang)，PWCLO-Net優(you)于(yu)所有最(zui)近的(de)基(ji)于(yu)學(xue)習(xi)的(de)方(fang)(fang)法，并且(qie)優(you)于(yu)基(ji)于(yu)幾何的(de)方(fang)(fang)法、具有映射優(you)化(hua)的(de) LOAM。

8月15日晚6點(dian)，「自(zi)(zi)動駕(jia)駛新青年講座」第6講，上海(hai)交通大學直博生王光明將(jiang)主講《自(zi)(zi)動駕(jia)駛中的3D點(dian)云場景流和(he)激(ji)光雷達點(dian)云里程計(ji)》

講者

王光(guang)明，上(shang)海交(jiao)通(tong)大學直博生；目前在蘇黎世聯邦理(li)工(gong)學院（ETH）訪(fang)問交(jiao)流。上(shang)海交(jiao)通(tong)大學國家獎學金獲得者，在CVPR、ECCV、ICRA、TIP、T-ITS等期(qi)刊和(he)(he)會議上(shang)發表多篇論文；主要(yao)圍繞自動(dong)駕駛場景下的(de)感知與定位問題進行研(yan)究，包括深度(du)估(gu)計(ji)、光(guang)流估(gu)計(ji)、3D點云場景流估(gu)計(ji)、3D點云語義分割、視覺和(he)(he)激光(guang)雷達里程計(ji)等。

第6講

主 題
《自動駕(jia)駛(shi)中(zhong)的3D點(dian)云(yun)場(chang)景流(liu)和激光(guang)雷(lei)達點(dian)云(yun)里程(cheng)計》

提 綱
1、基于雙注意力的3D點云場景流學習
2、3D點云場景流和激光雷達點云里程計的關系
3、基于3D點云輸入的激光雷達里程計網絡
4、帶有反向驗證的all-to-all的3D場景流學習

直 播 信 息
直播時間：8月15日18:00
直播地點：智東西公開(kai)課知識店鋪

成果

HALFlow/PWCLONet/3DFlow

《Hierarchical Attention Learning of Scene Flow in 3D Point Clouds》
《PWCLO-Net: Deep LiDAR Odometry in 3D Point Clouds Using Hierarchical Embedding Mask Optimization》
《What Matters for 3D Scene Flow Network》

論文地址
//ieeexplore.ieee.org/abstract/document/9435105
//openaccess.thecvf.com/content/CVPR2021/html/Wang_PWCLO-Net_Deep_LiDAR_Odometry_in_3D_Point_Clouds_Using_Hierarchical_CVPR_2021_paper.html
//arxiv.org/abs/2207.09143

開源地址
//github.com/IRMVLab/HALFlow
//github.com/IRMVLab/PWCLONet
//github.com/IRMVLab/3DFlow