全天候能力或�！叭f無一失”

開車過程中經(jīng)常遇到一些復(fù)雜的天氣情況,如大雨、大霧、沙塵、強(qiáng)光、夜晚,這對(duì)于視覺和激光雷達(dá)都是非常惡劣的場景,難以用一種傳感器應(yīng)對(duì),因?yàn)橐活悅鞲衅鳠o法處理所有場景。像一些自動(dòng)駕駛測試或比較成熟廠商的智能駕駛中多次發(fā)生撞車事故,傳感器系統(tǒng)的失效付出了慘痛代價(jià)。所以,傳感器融合是構(gòu)建穩(wěn)定感知系統(tǒng)的必要條件。

圖:多傳感器融合是穩(wěn)定感知的必要條件

蘇州豪米波董事長白杰解釋說,傳感器融合首先要根據(jù)來自不同傳感器的數(shù)據(jù)和狀態(tài)估計(jì)結(jié)果,利用不同傳感器,如視覺、激光雷達(dá)、毫米波雷達(dá)等,將數(shù)據(jù)融合到中央處理器實(shí)現(xiàn)信息互補(bǔ),以得到最佳的平衡方案。根據(jù)中央處理器獲取的傳感器信息層次的不同可以分為:數(shù)據(jù)級(jí)范疇的原始信息、特征級(jí)范疇的處理后的特征識(shí)別,以及決策級(jí)融合的危險(xiǎn)估計(jì)及最終決策。

整個(gè)過程是將毫米波雷達(dá)、圖像雷達(dá)數(shù)據(jù)進(jìn)行預(yù)處理和特征提取,得到目標(biāo)位置信息和分類信息,之后送到處理器中進(jìn)行綜合分析判斷,得到特征向量和特征矩陣,以實(shí)現(xiàn)決策級(jí)融合。

數(shù)據(jù)級(jí)融合是將所有原始數(shù)據(jù)送到處理器,數(shù)據(jù)同步后進(jìn)行處理。目前的方案主要是目標(biāo)級(jí),未來的發(fā)展是多級(jí)特征融合方案。由于數(shù)據(jù)量特別大,數(shù)據(jù)級(jí)融合受制于域控制器或帶寬限制,也是一個(gè)算力瓶頸。

從傳感器數(shù)據(jù)處理來看,主要分為集中式、分布式、混合式結(jié)構(gòu)。

集中式結(jié)構(gòu):將傳感器所有信息送到域控制器中進(jìn)行數(shù)據(jù)關(guān)聯(lián)、量測融合、目標(biāo)跟蹤,得到目標(biāo)、位置、狀態(tài)信息,最后進(jìn)行決策。其優(yōu)點(diǎn)是數(shù)據(jù)處理精度高;缺點(diǎn)是大量數(shù)據(jù)易造成通信負(fù)載過大,對(duì)域控制器處理性能要求高。

圖:集中式結(jié)構(gòu)

分布式結(jié)構(gòu):每個(gè)傳感器將目標(biāo)觀測結(jié)果在本地進(jìn)行檢測與跟蹤處理,完成局部航跡信息后送入域控制器。優(yōu)點(diǎn)是通信帶寬需求低,計(jì)算速度快;缺點(diǎn)是跟蹤精度遠(yuǎn)沒有集中式高。

圖:分布式結(jié)構(gòu)

混合式結(jié)構(gòu):根據(jù)對(duì)數(shù)據(jù)需求的不同組成混搭傳感器,兼具集中式和分布式結(jié)構(gòu)的優(yōu)點(diǎn),彌補(bǔ)了兩者不足。

圖:混合式結(jié)構(gòu)

目前大部分廠商采用混合式結(jié)構(gòu),采用攝像頭和雷達(dá)融合的前沿方法,由分布式傳感器分別進(jìn)行數(shù)據(jù)處理,得到目標(biāo)信息列表后再進(jìn)行融合。

白杰表示,最近兩年深度學(xué)習(xí)研究比較火熱,出現(xiàn)了一些前沿的融合跟蹤方案:普通雷達(dá)點(diǎn)云+攝像頭、雷達(dá)射頻圖像+攝像頭,以及4D雷達(dá)點(diǎn)云+攝像頭。

他認(rèn)為,目前大多數(shù)傳感器融合方法都使用激光雷達(dá)和攝像頭,從而實(shí)現(xiàn)高精度3D目標(biāo)檢測。但是,這種方法有其局限性,攝像頭和激光雷達(dá)對(duì)不利天氣(如雪、霧、雨)都很敏感、對(duì)遠(yuǎn)處目標(biāo)檢測精度低,且激光雷達(dá)成本較高,要普及還有一定困難。由于雷達(dá)對(duì)惡劣天氣有很好的魯棒性,探測距離非常遠(yuǎn),能精確測量目標(biāo)速度且成本低,在自動(dòng)駕駛中越來越受到人們的重視。

雷達(dá)數(shù)據(jù)雖然比較稀疏,不能直接套用激光雷達(dá)的方法,數(shù)據(jù)在輸入層和后處理部分的融合不能獲得很好效果,但每個(gè)點(diǎn)都包含很多信息,在融合中能起到很大作用。

他說,對(duì)攝像頭圖像數(shù)據(jù)和雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行中間特征層融合,就可以實(shí)現(xiàn)精確的3D目標(biāo)檢測。在進(jìn)行融合之前,由于目前雷達(dá)的高度信息不準(zhǔn)確,無法很好與圖片目標(biāo)進(jìn)行關(guān)聯(lián),因此需要先對(duì)雷達(dá)點(diǎn)云進(jìn)行預(yù)處理,采用支柱擴(kuò)張的預(yù)處理方法,將每個(gè)雷達(dá)點(diǎn)云擴(kuò)張成一個(gè)固定大小的支柱,若支柱中的一部分進(jìn)入了關(guān)聯(lián)ROI(感興趣區(qū)域)內(nèi),就可以實(shí)現(xiàn)雷達(dá)點(diǎn)云與攝像頭之間的關(guān)聯(lián)及融合。另外,目前4D毫米波雷達(dá)已開始逐步進(jìn)入市場,因其每個(gè)目標(biāo)有更豐富的點(diǎn)云,肯定會(huì)在L4系統(tǒng)中發(fā)揮更重要的作用,大大提升毫米波雷達(dá)的感知地位。

MEMS激光雷達(dá)有望批量應(yīng)用

特斯拉只使用攝像頭,難免有些場景(如純白或純色)難以識(shí)別,而激光雷達(dá)可以把距離、速度等各種信息都很快計(jì)算出來,通過算法實(shí)現(xiàn)環(huán)境識(shí)別,而且現(xiàn)在分辨率已經(jīng)足夠高了。以往的機(jī)械式雷達(dá)是一個(gè)轉(zhuǎn)臺(tái)上的激光探測器,現(xiàn)在谷歌、百度等科技公司還在使用。其64線需要64組激光器和探測器一一對(duì)應(yīng),然后供電讓它轉(zhuǎn)起來,是非常復(fù)雜的光學(xué)和電學(xué)系統(tǒng),不利于大規(guī)模量產(chǎn)。

中國科學(xué)院蘇州納米技術(shù)與納米仿生研究所沈文江博士說:“激光雷達(dá)是自動(dòng)駕駛中用到的眾多傳感器之一。與其他傳感器比,目前的MEMS激光雷達(dá)的每秒點(diǎn)云數(shù)據(jù)量在100萬左右,比圖像還是小得多,對(duì)處理器算力的要求沒有那么高�！�

他表示,與機(jī)械式相比,MEMS激光雷達(dá)的優(yōu)勢很多,如安裝簡單、體積更小、價(jià)格便宜,最有希望在乘用車上普及。目前,其角度分辨率已達(dá)到0．2度,比如100米外的一輛車可以掃描到很多點(diǎn),能夠計(jì)算并標(biāo)示出車的輪廓。

只需要一個(gè)激光器和MEMS微鏡組合,MEMS激光雷達(dá)就能實(shí)現(xiàn)激光脈沖的掃描,裝配起來很簡單。從成本考慮,由于采用半導(dǎo)體工藝,量大了成本就會(huì)很便宜。另外,從分辨率考慮,MEMS激光雷達(dá)實(shí)現(xiàn)64線只需用微鏡把單個(gè)激光器發(fā)出的脈沖掃描點(diǎn)陣組成64條線就可以了,所以非常容易實(shí)現(xiàn)高分辨率,體積也非常小。未來MEMS激光雷達(dá)的成本有望控制在千元人民幣以內(nèi)。

圖:MEMS激光雷達(dá)

他還說,從全球總共5家激光雷達(dá)上市公司也可看出技術(shù)上的端倪,其中4家美國公司,1家以色列公司;1家仍是機(jī)械式,兩家用的是MEMS方案。所以MEMS方案得到了業(yè)界和投資界青睞。

眾說紛紜不斷

3月17日,一個(gè)七年駕齡老司機(jī)使用Autopilot發(fā)生車輛無故轉(zhuǎn)向,方向盤卡死,車輛撞停事故,很像上面提及的情況。

4月9日,馬斯克在社交媒體上透露,最近對(duì)其自動(dòng)駕駛Autopilot和全自動(dòng)駕駛套件FSD Beta V9．0的升級(jí)已近尾聲,他希望最終將使其成為完全基于攝像頭——純視覺方法的系統(tǒng)。這意味著,未來特斯拉的全電動(dòng)汽車將在不使用雷達(dá)等部件的情況下自行導(dǎo)航并執(zhí)行駕駛員輔助功能。

既然是純視覺,作為一些人心目中“豪車”的特斯拉卻至今沒有量產(chǎn)搭載不僅能精確測量距離,還可識(shí)別剎車燈、車道線、路旁交通標(biāo)志等的雙目攝像頭。為什么?只能拭目以待了。