最近幾天，特斯拉自動(dòng)駕駛軟件總監(jiān)Ashok Elluswamy在CVPR 2022大會(huì)上發(fā)表演講，介紹了特斯拉自動(dòng)駕駛團(tuán)隊(duì)在過(guò)去一年取得的諸多成果，尤其是名為Occupancy Networks的神經(jīng)網(wǎng)絡(luò)模型。

他表示，自動(dòng)駕駛系統(tǒng)中使用的語(yǔ)義分割和深度信息的傳統(tǒng)方法存在許多問(wèn)題，例如2D轉(zhuǎn)換為3D的困難以及深度信息的估計(jì)不準(zhǔn)確。

使用占用網(wǎng)絡(luò)后，模型可以預(yù)測(cè)車(chē)輛周?chē)矬w占用的空間。

基于此，車(chē)輛可以在不識(shí)別具體障礙物的情況下做出躲避動(dòng)作——Ashok Elluswamy甚至在推特上開(kāi)了個(gè)玩笑，說(shuō)特斯拉的車(chē)甚至可以躲避UFO！

基于這項(xiàng)技術(shù)，車(chē)輛還可以看到周?chē)膹澋朗欠裼姓系K物，從而像人類(lèi)駕駛員一樣實(shí)現(xiàn)無(wú)保護(hù)轉(zhuǎn)向！

總之，占領(lǐng)網(wǎng)絡(luò)明顯增強(qiáng)了特斯拉的自動(dòng)駕駛能力。

據(jù)說(shuō)特斯拉Autopilot系統(tǒng)每天可以防止40起因駕駛員失誤造成的車(chē)禍！

此外，Ashok Elluswamy還強(qiáng)調(diào)了特斯拉Autopilot系統(tǒng)在防止駕駛員誤操作方面的努力。

車(chē)輛通過(guò)感知外部環(huán)境和駕駛員的操作系統(tǒng)，可以識(shí)別駕駛員的誤操作，比如在錯(cuò)誤的時(shí)間踩下油門(mén)踏板，車(chē)輛就會(huì)停止加速，自動(dòng)剎車(chē)！

特斯拉主動(dòng)制動(dòng)

也就是說(shuō)，之前國(guó)內(nèi)頻繁暴露出的駕駛員誤操作導(dǎo)致剎車(chē)失靈的一些問(wèn)題，將會(huì)受到技術(shù)上的限制。

不得不說(shuō)特斯拉真的很擅長(zhǎng)推動(dòng)技術(shù)進(jìn)步以下視頻為Ashok Elluswamy的演講整理，略有刪減

第一，純視覺(jué)算法強(qiáng)大二維圖像被轉(zhuǎn)換成三維圖像

演講一開(kāi)始，Ashok表示，并不是所有人都知道特斯拉的autopilot系統(tǒng)的具體功能，所以他簡(jiǎn)單介紹了一下。

阿育王

據(jù)他介紹，特斯拉的自動(dòng)駕駛系統(tǒng)可以幫助車(chē)輛保持車(chē)道，跟隨車(chē)輛，減速拐彎等除了這些，特斯拉的autopilot系統(tǒng)還配備了標(biāo)準(zhǔn)的安全功能，如緊急制動(dòng)和避障，可以避免各種碰撞

此外，自2019年以來(lái)，約有100萬(wàn)輛特斯拉汽車(chē)可以在高速公路上使用更先進(jìn)的導(dǎo)航，檢查相鄰車(chē)道的信息以執(zhí)行變道并識(shí)別高速公路的出入口。

而且特斯拉的autopilot系統(tǒng)可以在停車(chē)場(chǎng)自動(dòng)停車(chē)，識(shí)別紅綠燈和路標(biāo)，右轉(zhuǎn)避開(kāi)汽車(chē)等障礙物目前，這些功能已經(jīng)得到超過(guò)10萬(wàn)特斯拉車(chē)主的驗(yàn)證

演講中，Ashok還拿出了一段用戶錄制的視頻視頻顯示，當(dāng)用戶在舊金山擁擠的道路上行駛時(shí)，汽車(chē)屏幕會(huì)顯示周?chē)沫h(huán)境，如道路邊界，車(chē)道線，附近車(chē)輛的位置和速度

該系統(tǒng)識(shí)別周?chē)沫h(huán)境。

這些一方面需要特斯拉的汽車(chē)，攝像頭等硬件的支持，另一方面也需要特斯拉自動(dòng)駕駛系統(tǒng)內(nèi)置的算法和神經(jīng)網(wǎng)絡(luò)的支持。

根據(jù)Ashok的說(shuō)法，特斯拉配備了8個(gè)120萬(wàn)像素的攝像頭，可以360度捕捉周?chē)h(huán)境的圖像，平均每秒生成36幀然后特斯拉的汽車(chē)會(huì)處理這些信息，每秒可以進(jìn)行144萬(wàn)億次運(yùn)算

而且這些過(guò)程都是基于純視覺(jué)算法，沒(méi)有激光雷達(dá)，超聲波雷達(dá)和高清地圖。

特斯拉的自動(dòng)駕駛系統(tǒng)是如何識(shí)別一般障礙物的。

Ashok表示，當(dāng)遇到一般障礙物時(shí)，系統(tǒng)會(huì)使用空間分割的方法在使用空間分割法時(shí)，系統(tǒng)將空間中的每個(gè)像素標(biāo)記為可駕駛和不可駕駛，然后由自動(dòng)駕駛芯片對(duì)場(chǎng)景進(jìn)行處理但是，這種方法也存在一些問(wèn)題

物體的標(biāo)記

首先，系統(tǒng)標(biāo)記的物體像素是在二維空間中，而為了在三維空間中導(dǎo)航汽車(chē)，需要將物體像素轉(zhuǎn)換成三維空間中相應(yīng)的預(yù)測(cè)值，這樣特斯拉的系統(tǒng)才能建立交互的物理模型，并成功處理導(dǎo)航任務(wù)。

物體的標(biāo)記

可是，當(dāng)系統(tǒng)將物體像素從二維圖像轉(zhuǎn)換為三維圖像時(shí)，需要進(jìn)行圖像語(yǔ)義分割。

這個(gè)過(guò)程將在系統(tǒng)中產(chǎn)生不必要的圖像或不必要的像素，并且圖像的地平面上的幾個(gè)像素能夠產(chǎn)生巨大的影響，并且直接決定如何將這個(gè)2D圖像轉(zhuǎn)換成3D圖像所以，特斯拉在規(guī)劃上并不想出這么有影響力的像素

另外，不同的障礙需要用不同的方法來(lái)判斷。

一般來(lái)說(shuō)，物體的深度值是常用的。

在某些場(chǎng)景下，系統(tǒng)可以先預(yù)測(cè)障礙物在另一個(gè)場(chǎng)景中，系統(tǒng)還可以檢測(cè)圖像像素的深度，因此每個(gè)像素會(huì)產(chǎn)生一些深度值

深度圖

但是，雖然最終的深度圖非常漂亮，但是深度圖用于預(yù)測(cè)時(shí)只需要三個(gè)點(diǎn)。

而且在可視化這三個(gè)點(diǎn)的時(shí)候，雖然近距離還可以，但是伴隨著距離的增加，就會(huì)變形，這些圖像在下一階段就很難繼續(xù)使用了。

例如，壁可能變形和彎曲地平面附近的物體也是由較少的點(diǎn)決定的，這使得系統(tǒng)在規(guī)劃時(shí)無(wú)法正確判斷障礙物

而且由于這些深度圖是由多個(gè)攝像頭采集的平面圖像轉(zhuǎn)換而來(lái)，所以最終很難產(chǎn)生同一個(gè)障礙物，系統(tǒng)也很難預(yù)測(cè)障礙物的邊界。

所以特斯拉提出了占領(lǐng)網(wǎng)絡(luò)的計(jì)劃來(lái)解決這個(gè)問(wèn)題。

第二，計(jì)算空間占用率，對(duì)對(duì)象進(jìn)行編碼。

在演講過(guò)程中，阿肖克還展示了這種通過(guò)視頻占領(lǐng)網(wǎng)絡(luò)的方案他說(shuō)，從視頻中可以看到，在這個(gè)方案中，系統(tǒng)對(duì)8個(gè)攝像頭拍攝的圖像進(jìn)行處理，然后計(jì)算物體的空間占有率，最后生成示意圖

生成的模擬圖像

而且特斯拉每次在行駛中移動(dòng)，系統(tǒng)網(wǎng)絡(luò)都會(huì)重新計(jì)算周?chē)矬w的空間占用率此外，系統(tǒng)網(wǎng)絡(luò)不僅會(huì)計(jì)算一些靜態(tài)對(duì)象的空間占用率，如樹(shù)木和墻壁，還會(huì)計(jì)算包括移動(dòng)汽車(chē)在內(nèi)的動(dòng)態(tài)對(duì)象的空間占用率

之后，網(wǎng)絡(luò)將圖像輸出為三維圖像，還可以預(yù)測(cè)被遮擋的物體，因此即使汽車(chē)只上傳物體的部分輪廓，用戶也可以清晰地分辨出物體。

另外，雖然由于距離的原因，系統(tǒng)拍攝的圖像分辨率不同，但是基于上述方案，最終呈現(xiàn)的模擬3D圖像的分辨率是相同的。

生成的圖像具有相同的分辨率。

這意味著整個(gè)方案運(yùn)行非常高效Ashok表示，計(jì)算平臺(tái)運(yùn)行10毫秒，系統(tǒng)網(wǎng)絡(luò)可以以100 Hz的速度運(yùn)行，這甚至比許多攝像機(jī)記錄圖像的速度還要快

那么，這個(gè)過(guò)程是如何完成的呢這需要了解網(wǎng)絡(luò)占用方案的架構(gòu)

Ashok在解釋占領(lǐng)網(wǎng)絡(luò)方案的架構(gòu)時(shí)，以特斯拉魚(yú)眼相機(jī)和左相機(jī)拍攝的圖像為例，對(duì)比了兩者的圖像校正過(guò)程。

首先，系統(tǒng)會(huì)拉伸圖像，然后提取圖像特征，找出3D圖像的相關(guān)點(diǎn)是否被占用，然后使用3D位置編碼，然后將其映射到固定位置，之后在后續(xù)的計(jì)算中將收集這些信息。

對(duì)圖像進(jìn)行初步處理

之后系統(tǒng)會(huì)嵌入圖像空間的位置，通過(guò)3D查詢(xún)繼續(xù)處理圖像流，最終生成3D職業(yè)特征因?yàn)闀?huì)生成高維的占用特征，所以很難在空間的每一點(diǎn)都執(zhí)行這個(gè)操作因此，系統(tǒng)將在較低的維度中生成這些高維特征，例如，使用典型的上采樣技術(shù)來(lái)生成高維空間占用

計(jì)算物體的空間占用率

有意思的是，Ashok在演講中透露，一開(kāi)始，這種占用網(wǎng)絡(luò)的方案只是用來(lái)處理靜態(tài)對(duì)象，但最后發(fā)現(xiàn)，只處理靜態(tài)的樹(shù)很難而且系統(tǒng)剛開(kāi)始區(qū)分真假行人的時(shí)候遇到了很多困難

但是研究小組最終發(fā)現(xiàn)，無(wú)論這些障礙物是移動(dòng)的還是靜止的，系統(tǒng)只需要能夠避開(kāi)它們。

真假行人

因此，占領(lǐng)網(wǎng)絡(luò)方案不再區(qū)分動(dòng)態(tài)障礙物和靜態(tài)障礙物，而是使用其他分類(lèi)來(lái)處理，并計(jì)算物體的瞬時(shí)空間占用率，但這不足以保證特斯拉能夠安全行駛。

因?yàn)橹挥?jì)算瞬時(shí)空間占用率，特斯拉高速行駛時(shí)遇到一輛車(chē)然后開(kāi)始減速是不合理的系統(tǒng)想知道更多關(guān)于這輛車(chē)在不同時(shí)間的空間占用率以及變化情況

通過(guò)這種方式，系統(tǒng)可以預(yù)測(cè)汽車(chē)何時(shí)離開(kāi)因此，該方案還包括預(yù)測(cè)占用流量

占用流量的計(jì)算過(guò)程

占有率的數(shù)據(jù)可以是空間占有率或時(shí)間的一階或高階導(dǎo)數(shù)，也可以提供更精確的控制，將它們統(tǒng)一到同一個(gè)坐標(biāo)系中該系統(tǒng)將使用相同的方法生成空間占用率和占用流量，這也將為各種障礙提供強(qiáng)有力的保護(hù)

第三，障礙的類(lèi)型并不重要該系統(tǒng)可以避免碰撞

Ashok還表示，常規(guī)的運(yùn)動(dòng)或移動(dòng)網(wǎng)絡(luò)無(wú)法判斷一個(gè)物體的類(lèi)型，比如它是靜止的物體還是移動(dòng)的車(chē)輛。

但是從控制層面來(lái)說(shuō)，對(duì)象的類(lèi)型其實(shí)并不重要，占用網(wǎng)絡(luò)的方案提供了很好的保護(hù)，防止網(wǎng)絡(luò)被分類(lèi)。

無(wú)論障礙物是什么，系統(tǒng)都會(huì)認(rèn)為這部分空間被占用，并以一定的速度移動(dòng)一些特殊類(lèi)型的車(chē)輛可能會(huì)有奇怪的顛簸，傳統(tǒng)技術(shù)很難建模，系統(tǒng)會(huì)使用立方體或其他多邊形來(lái)表示移動(dòng)的物體

這樣可以任意擠壓物體，這種占領(lǐng)方式不需要復(fù)雜的網(wǎng)格拓?fù)浣！?/p>

當(dāng)車(chē)輛轉(zhuǎn)向無(wú)保護(hù)或受保護(hù)時(shí)，幾何信息可用于推斷遮擋幾何信息不僅要推斷車(chē)載攝像頭識(shí)別的信息，還要推斷未識(shí)別的信息

例如，當(dāng)汽車(chē)在進(jìn)行無(wú)保護(hù)轉(zhuǎn)彎時(shí)，前方有一條分支道路，可能有潛在的車(chē)輛被樹(shù)木和路標(biāo)擋住，因此汽車(chē)知道它無(wú)法從這些障礙物中看到車(chē)輛基于不同的控制策略，汽車(chē)可以提出問(wèn)題并消除這種遮擋

因此，對(duì)于一個(gè)靜止的物體，汽車(chē)可以在行駛中識(shí)別它何時(shí)變得可見(jiàn)由于有完整的三維障礙物，汽車(chē)也可以預(yù)測(cè)它會(huì)撞上這個(gè)物體多遠(yuǎn)，然后系統(tǒng)會(huì)通過(guò)平滑控制識(shí)別并通過(guò)這個(gè)被阻擋的物體

因此，占用網(wǎng)絡(luò)方案有助于在許多不同方面改進(jìn)控制堆棧這個(gè)方案是神經(jīng)輻射領(lǐng)域的延伸，過(guò)去幾年在很大程度上接管了計(jì)算機(jī)視覺(jué)研究

NeRf與職業(yè)網(wǎng)絡(luò)的關(guān)聯(lián)示意圖

NeRf是單一場(chǎng)景或單一位置的圖像重建場(chǎng)景，從單一位置的一點(diǎn)重建。

Ashok表示，特斯拉的車(chē)輛在行駛時(shí)，對(duì)接收到的圖像的后臺(tái)處理更加精確，因此可以生成跨時(shí)間的精確圖像路線，并通過(guò)NeRf模型和3D狀態(tài)差分渲染圖像生成更加精確的3D重建。

可是，現(xiàn)實(shí)世界中的圖像會(huì)有一個(gè)問(wèn)題——我們會(huì)在現(xiàn)實(shí)世界中看到許多不真實(shí)或不同的圖像。

比如陽(yáng)光眩光或擋風(fēng)玻璃上的污垢或灰塵會(huì)因光的衍射而發(fā)生變化，或者雨滴會(huì)進(jìn)一步扭曲光的傳播，最終產(chǎn)生偽像。

提高魯棒性的方法是使用更高級(jí)的描述符，但是這些描述符在某種程度上不會(huì)改變局部光照偽影。

因?yàn)镽GB圖像可能非常嘈雜，所以在RGB之上添加描述符可以提供一層語(yǔ)義保護(hù)來(lái)防止RGB值的改變所以特斯拉的目標(biāo)就是用這種方式來(lái)占領(lǐng)網(wǎng)絡(luò)方案

描述符比RGB更健壯。

由于占領(lǐng)網(wǎng)絡(luò)方案需要在若干鏡頭中生成空間占有率，因此無(wú)法在車(chē)內(nèi)運(yùn)行完整的神經(jīng)優(yōu)化，但可以將神經(jīng)優(yōu)化簡(jiǎn)化為在后臺(tái)運(yùn)行，確保其生成的空間占有率能夠解釋汽車(chē)運(yùn)行時(shí)接收到的所有傳感器的圖像。

此外，描述符也可以在訓(xùn)練期間疊加，以便對(duì)這些網(wǎng)絡(luò)產(chǎn)生良好的監(jiān)督，同時(shí)，不同的傳感器數(shù)據(jù)可以被不同地渲染以監(jiān)控所保存的圖像。

目前，特斯拉已經(jīng)有了減少障礙的網(wǎng)絡(luò)，下一步就是避免任何碰撞Autopilot已經(jīng)有很多安全功能了

接著，Ashok展示了三段自動(dòng)駕駛開(kāi)始躲避碰撞的視頻。

這里的撞車(chē)是指駕駛員誤將油門(mén)踏板當(dāng)剎車(chē)踏板踩下造成的撞車(chē)。

Ashok是指當(dāng)駕駛員不小心把油門(mén)當(dāng)剎車(chē)踩，汽車(chē)會(huì)加速造成碰撞，但汽車(chē)會(huì)識(shí)別并自動(dòng)停止加速，自動(dòng)剎車(chē)防止碰撞。

在第一個(gè)視頻中，阿肖克表示，如果Autopilot沒(méi)有啟動(dòng)并阻止汽車(chē)加速，視頻中的司機(jī)很可能會(huì)掉進(jìn)河里。

特斯拉AP開(kāi)始防止汽車(chē)掉入河中

同樣，第二段視頻顯示，一名特斯拉司機(jī)在停車(chē)時(shí)誤踩了油門(mén)，但Autopilot很快啟動(dòng)，并阻止了汽車(chē)撞到商店和行人。

特斯拉AP開(kāi)始阻止汽車(chē)撞進(jìn)商店

四。基于占用率的車(chē)輛自動(dòng)路徑規(guī)劃

但是，汽車(chē)可能需要幾秒鐘甚至幾分鐘的時(shí)間才能平穩(wěn)剎車(chē)和停車(chē)，汽車(chē)在行駛過(guò)程中可能沒(méi)有足夠的時(shí)間來(lái)識(shí)別障礙物和進(jìn)行計(jì)算。

所以我們應(yīng)該用神經(jīng)網(wǎng)絡(luò)來(lái)達(dá)到這個(gè)目的，尤其是最近，更復(fù)雜的隱藏場(chǎng)景出現(xiàn)了特斯拉的自動(dòng)駕駛團(tuán)隊(duì)要做的就是從之前的網(wǎng)絡(luò)中獲取空間占用率

首先，要把空間占用率編碼成一個(gè)超壓縮的多層感知器本質(zhì)上，這個(gè)MLP是在任何特定查詢(xún)狀態(tài)下是否可以避免沖突的隱式表示這種避免碰撞的方法在一定的時(shí)間范圍內(nèi)提供了一些保證比如2秒或4秒或一定時(shí)間范圍內(nèi)可以避免碰撞

Ashok在這里又舉了一個(gè)例子他給出了一條自上而下的道路，黑色像素為障礙物，灰色像素為路面，白色像素為道路車(chē)道線在這個(gè)三維空間的俯視圖中，汽車(chē)可以放在任意像素位置，模擬是否可以避免碰撞

車(chē)輛行駛情況示意圖

他說(shuō):如果你把汽車(chē)想象成一個(gè)單點(diǎn)，避碰周期設(shè)置為瞬間，那么在當(dāng)前時(shí)間是否會(huì)發(fā)生碰撞，只取決于障礙物的位置，但問(wèn)題是車(chē)不是點(diǎn)，它有類(lèi)似長(zhǎng)方形的形狀，也可以轉(zhuǎn)彎。

因此，只有當(dāng)形狀與障礙物卷積后，我們才能立即知道汽車(chē)是否處于碰撞狀態(tài)。

當(dāng)汽車(chē)轉(zhuǎn)彎時(shí)，碰撞場(chǎng)會(huì)發(fā)生變化表示綠色的車(chē)處于安全位置，沒(méi)有碰撞，紅色表示碰撞，所以當(dāng)車(chē)旋轉(zhuǎn)時(shí)，碰撞位置較多，但是當(dāng)汽車(chē)位置對(duì)齊時(shí)，綠色位置會(huì)擴(kuò)大，這意味著汽車(chē)不會(huì)發(fā)生碰撞

總的來(lái)說(shuō)，Ashok展示了如何利用多個(gè)攝像頭視頻和產(chǎn)品產(chǎn)生密集的空間占有率和占用流量通過(guò)空間占有率，可以通過(guò)神經(jīng)網(wǎng)絡(luò)生成有效的避撞場(chǎng)，即車(chē)輛通過(guò)攝像頭看，根據(jù)經(jīng)驗(yàn)判斷以合適的速度和方向通過(guò)障礙物的道路

避碰隱式神經(jīng)網(wǎng)絡(luò)

Ashok還分享了一個(gè)模擬環(huán)境下的實(shí)驗(yàn)，駕駛員踩下油門(mén)加速不轉(zhuǎn)彎，汽車(chē)檢測(cè)到碰撞并規(guī)劃路徑使汽車(chē)安全通過(guò)。

Ashok在演講的最后表示，如果他們能夠成功實(shí)現(xiàn)上述所有技術(shù)，就可以生產(chǎn)出一輛永遠(yuǎn)不會(huì)撞車(chē)的汽車(chē)。

顯然，這項(xiàng)工作還沒(méi)有完成。Ashok在他的最后一個(gè)PPT中，主動(dòng)邀請(qǐng)工程師加入特斯拉，打造一輛永遠(yuǎn)不會(huì)撞車(chē)的汽車(chē)！

Ashekelluswamy歡迎更多人才加入特斯拉。

結(jié)論:特斯拉不斷探索自動(dòng)駕駛。

自從特斯拉的自動(dòng)駕駛技術(shù)有了火，自動(dòng)駕駛的賽道上就涌現(xiàn)出了一大批追隨者但不得不說(shuō)，特斯拉一直走在行業(yè)的最前沿，不斷探索自動(dòng)駕駛的新方式

本次特斯拉自動(dòng)駕駛項(xiàng)目負(fù)責(zé)人帶來(lái)了全新的技術(shù)解讀，也在一定程度上提前向我們展示了特斯拉未來(lái)自動(dòng)駕駛技術(shù)的亮點(diǎn)憑借特斯拉不斷探索的精神，其自動(dòng)駕駛將繼續(xù)引領(lǐng)整個(gè)汽車(chē)市場(chǎng)

。

鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場(chǎng)無(wú)關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。