作者 | 洪澤鑫

編輯 | Bruce

百度今年Create大會(huì)上輔助駕駛板塊的內(nèi)容挺硬核的，不在這個(gè)行業(yè)內(nèi)基本聽不懂。

正好是研究興趣所在，結(jié)合百度給的資料，試著來(lái)中譯中一下。

總的來(lái)說(shuō)，百度是弄了一個(gè)車路一體的BEV感知方案——叫UniBEV。

做什么用？

簡(jiǎn)單理解，就是馬路上現(xiàn)在都裝了攝像頭等傳感器，百度借這個(gè)方案，想把這些設(shè)備都用上，讓乘用車的輔助駕駛系統(tǒng)達(dá)到更好的感知結(jié)果。

即便某輛車上裝了有31個(gè)感知傳感器，但也會(huì)有感知不到的物體，這時(shí)就可以把路邊的傳感器也都用上，讓車擁有“千里眼”。

先回到什么是BEV感知？

BEV是近幾年車企和自動(dòng)駕駛公司經(jīng)常提到的詞，全稱是Bird's Eye View，可翻譯為鳥瞰圖，也被稱為上帝視角。

用上圖來(lái)理解，BEV感知就是把多個(gè)視角的攝像頭圖像，統(tǒng)一通過(guò)公共的特征提取器，投影到同一個(gè)BEV空間里面，主要是兩步：

攝像頭接收到影像，通過(guò)一個(gè)視覺(jué)神經(jīng)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)（Backbone）提取影像中的特征值（Feature）；

借助Transformer算法，把上一步得到的多個(gè)攝像頭影像的特征值，放進(jìn)一個(gè)3D空間里。

這里又涉及到Transformer算法，這是一種傳統(tǒng)用于自然語(yǔ)言處理——也就是機(jī)器翻譯的算法。

要想詳細(xì)了解，可以看大神的這篇文章：https://zhuanlan.zhihu.com/p/552543893

文章里有個(gè)例子，當(dāng)機(jī)器想把“一套自動(dòng)駕駛解決方案”翻譯成英文“an autonomous driving solution”時(shí)，為什么算法會(huì)知道“一套”應(yīng)該翻譯成“an”而非“a”？“解決方案”應(yīng)該翻譯成“solution”而非“settlement”？

靠的就是Transformer算法，通俗點(diǎn)說(shuō)，它能讓句子中的每個(gè)元素都能“聯(lián)系上下文”，知道自己應(yīng)該被翻譯成什么。

2021年之后，BEV感知、Transformer都爆火了一把。

在BEV感知之前，傳統(tǒng)的做法是分別算出每個(gè)攝像頭圖像的感知結(jié)果，然后再把這些感知結(jié)果拼在一起。

假如有一輛小電動(dòng)，但形狀比較怪異，導(dǎo)致兩個(gè)攝像頭的感知結(jié)果不一樣——一個(gè)覺(jué)得是只狗，一個(gè)覺(jué)得是臺(tái)電動(dòng)車，就得靠人類程序員制定規(guī)則，來(lái)下個(gè)定論——比如程序員覺(jué)得XXX情況下這肯定是只狗。

BEV不需要上述這個(gè)人類插手的過(guò)程——也是容易犯錯(cuò)的過(guò)程，所以可以真正做到“數(shù)據(jù)驅(qū)動(dòng)”，理論上收集的數(shù)據(jù)越多，感知越精準(zhǔn)。

百度之前就是用的傳統(tǒng)的方式，上面這張圖表示的是一個(gè)單目攝像頭，再加上多個(gè)環(huán)視攝像頭的后融合技術(shù)。

每一個(gè)不同朝向的相機(jī)，會(huì)各自先經(jīng)過(guò)一個(gè)神經(jīng)網(wǎng)絡(luò)去推理出周圍的障礙物位置、大小、朝向等信息，然后再把他們拼在一個(gè)3D空間里。

2019年，百度對(duì)標(biāo)特斯拉做的純視覺(jué)智能駕駛方案Apollo Lite用的就是這個(gè)技術(shù)。

雖然百度當(dāng)時(shí)單個(gè)相機(jī)的深度學(xué)習(xí)感知已經(jīng)做得很?！獑蜗鄼C(jī)的3D感知信息都可以通過(guò)模型來(lái)輸出，但有些被截?cái)嗟奈矬w也是識(shí)別不出來(lái)的，而且沒(méi)有其他相機(jī)的數(shù)據(jù)作為“上下文”，也不好猜。

百度想把BEV玩出花兒來(lái)

過(guò)去的一年，百度首先也把視覺(jué)感知升級(jí)成BEV感知了。

可以檢測(cè)到障礙物，預(yù)測(cè)障礙物的軌跡，以及感知道路結(jié)構(gòu)（車道線、馬路邊緣等）。

并且記錄下時(shí)間，形成一個(gè)帶時(shí)間序列的4D空間，就像賽車游戲的仿真場(chǎng)景那樣，只不過(guò)更抽象。

當(dāng)然，百度開始跟進(jìn)BEV并不意味著是在剽竊特斯拉。早在2016年，百度就開始在BEV視角下實(shí)現(xiàn)了點(diǎn)云感知。

而Transformer模型最早是2017年谷歌團(tuán)隊(duì)提出來(lái)的，之后就有各種魔改的Transformer。

而在特斯拉2021年AI DAY之前，就有一些基于Transformer做BEV感知的學(xué)術(shù)論文。

特斯拉當(dāng)時(shí)的分享，讓車企更有決心跟進(jìn)罷了。

這兩年，BEV感知也逐漸被應(yīng)用于三維點(diǎn)云，也就是能把激光雷達(dá)也用上。

在主流BEV感知基礎(chǔ)上，百度做了些創(chuàng)新，也就是開頭提到的車路一體的BEV感知方案——UniBEV。

首先，百度先給傳感器做了解耦。

要知道，不同量產(chǎn)車型的傳感器數(shù)量、參數(shù)以及安裝位置都是不一樣的，無(wú)論是傳統(tǒng)的視覺(jué)感知方法，還是BEV感知，每款車都得重新適配一次，只是BEV感知適配更簡(jiǎn)單。

特斯拉的車只有那么幾款，所以這個(gè)問(wèn)題影響不大。

但百度的方案是希望賣給很多車企的各種車型的，所以他們專門自研了一個(gè)內(nèi)外參解耦算法，也就是下圖中虛線框的模塊。

把不同相機(jī)解耦，意味著不管傳感器的數(shù)量、位置怎么變化，都可以被投影到同一個(gè)BEV空間下面。

其次，百度在全國(guó)各地都有智能交通項(xiàng)目。

所以他們也想把路側(cè)的攝像頭也用上，把路側(cè)攝像頭圖像提取的特征也投影到同一個(gè)BEV空間里。

電線桿上的攝像頭都比較高，這就意味著車輛能有“千里眼”，真的擁有“上帝視角”，可以提前看見被遮擋的行人、電動(dòng)車……

這樣可以解決很多corner case，比如提前發(fā)現(xiàn)鬼探頭（突然從看不到的角落冒出來(lái)的人）、更好地應(yīng)對(duì)路口的無(wú)保護(hù)左轉(zhuǎn)等等。

前兩年國(guó)內(nèi)在開發(fā)各種5G車路協(xié)同應(yīng)用時(shí)，就有人提出類似的功能。

先算出路口的感知結(jié)果，再把這些結(jié)果通過(guò)5G網(wǎng)絡(luò)或微波傳輸?shù)杰嚿?，放進(jìn)一個(gè)空間里，相當(dāng)于后融合。

上圖藍(lán)色的物體表示路端感知結(jié)果，綠色則是車端感知結(jié)果，來(lái)自輕舟

據(jù)百度的描述，UniBEV也是路端和車端在點(diǎn)云特征層面的BEV投影。

但路端的數(shù)據(jù)如何穩(wěn)定、實(shí)時(shí)地傳輸?shù)杰嚩耍?/strong>這塊百度沒(méi)有詳談，也還沒(méi)有放出DEMO。

再有，百度把無(wú)人出租車的海量數(shù)據(jù)用了起來(lái)。

BEV感知的特征提取，主要依靠神經(jīng)網(wǎng)絡(luò)模型，這意味著要有足夠多的數(shù)據(jù)，而且是有真值的數(shù)據(jù)，才能訓(xùn)練出一個(gè)強(qiáng)大的模型。

百度現(xiàn)在有幾百臺(tái)無(wú)人出租車在北京、上海、重慶、武漢這些城市測(cè)試，積累了有超4000萬(wàn)公里的數(shù)據(jù)，正好都可以用上。

因?yàn)檫@些數(shù)據(jù)既有視覺(jué)圖像的數(shù)據(jù)，也有激光雷達(dá)的數(shù)據(jù)，還有3D的感知結(jié)果，可以作為云端真值系統(tǒng)來(lái)使用。

在識(shí)別障礙物這件事上，百度相當(dāng)于擁有了一個(gè)經(jīng)驗(yàn)豐富的老師傅。

這個(gè)云端真值系統(tǒng)是沒(méi)有人工介入做精標(biāo)注的，如果從中挑選出一些特殊的場(chǎng)景數(shù)據(jù)，人工進(jìn)行精標(biāo)注的話，還能得到一個(gè)更高質(zhì)量的模型。

最后，憑借百度地圖的高精地圖，百度能讓BEV的語(yǔ)義地圖精度更高。

目前國(guó)內(nèi)的輔助駕駛方案都是需要高精地圖的，百度地圖這樣的圖商會(huì)提前把各地的道路都掃一遍，形成高精度的語(yǔ)義地圖。

而BEV感知是支持生成局部的語(yǔ)義地圖的，這也是為什么特斯拉敢說(shuō)自己不需要高精地圖。

照這個(gè)邏輯，百度地圖收集的高精地圖是不是就毫無(wú)用武之地了？

非也。

百度目前將這些高精地圖以及高精度的定位信息，作為BEV感知的訓(xùn)練數(shù)據(jù)來(lái)用。

也就是說(shuō)，在識(shí)別道路結(jié)構(gòu)這件事上，百度也有一個(gè)經(jīng)驗(yàn)老道的老師傅。

總的來(lái)說(shuō)，百度在跟進(jìn)BEV感知上擁有不少優(yōu)勢(shì)。

前段時(shí)間，百度放出了一個(gè)ANP 3.0的DEMO視頻，純視覺(jué)方案跑城市NOA功能，表現(xiàn)不錯(cuò)。

這次提出的UniBEV，在理論上也是說(shuō)得通的，并且也發(fā)揮了百度在車路協(xié)同模塊的優(yōu)勢(shì)。

只是UniBEV這一創(chuàng)新什么時(shí)候會(huì)落地（估計(jì)還遠(yuǎn)），就要看百度高階自動(dòng)駕駛落地的第一款車了。

目前，百度有一支幾百人的團(tuán)隊(duì)對(duì)接集度，提供高階智駕能力，集度的團(tuán)隊(duì)在這個(gè)基礎(chǔ)上進(jìn)行產(chǎn)品定義。

百度也開始在北、上、廣、深多地做ANP3.0的泛化測(cè)試了，確保明年下半年方案的量產(chǎn)和功能交付。

只期待能快點(diǎn)坐到實(shí)車上體驗(yàn)一番了。