乾貨！特斯拉Autopilot核心感測器解讀「攝像頭篇」

目前為止，特斯拉的Autopilot一共經歷了三代硬體的更迭，分別是Autopilot1.0，2.0和2.5。按照目前特斯拉的公開信息，Autopilot3.0硬體將可能在今年底和自主研發的晶元一起推出。

從上期開始，《高工智能汽車》陸續獨家深入解讀Autopilot幾代硬體平台核心感測器的迭代歷史，以及相關的供應商變化。（點擊閱讀上期解讀：毫米波雷達篇）

一、首先，我們看下視覺的主要處理器的變化：

AutoPilot HW1.0：基於Mobileye EyeQ3硬體/軟體，一個前置攝像頭，一個毫米波雷達和12個遠程超聲波感測器。從2014年9月至2016年10月中旬，特斯拉生產的所有汽車都配備了上述自動駕駛硬體。

AutoPilot HW2.0：硬體包括英偉達的DRIVE PX 2 AI計算平台，特斯拉的說法是性能比HW1.0強大40倍。此外，該系統還包括8個攝像頭、12個遠程超聲波感測器(約30英尺範圍)和一個前置毫米波雷達。2016年10月19日以後生產的所有特斯拉汽車都包含了上述硬體。

同時，提供了兩個級別的可選軟體-增強的AutoPilot、完全自動駕駛(FSD)選項（提供L4級或L5級自動駕駛），當時預估一旦完成並獲得監管機構批准，可能在2019-2020年（和最新的馬斯克披露今年底完成功能驗證測試還是非常接近）。但完全自動駕駛需要基於HW3.0的新處理器（特斯拉自主研發）。

特斯拉HW2.0處理器板包括一個Nvidia PG418 MXM模塊。這個板包含一個GP106 GPU和4 GB的GDDR5內存。GPU有1280個CUDA核心，在這種配置中使用128位寬內存。有趣的是，PG418板有額外的4 GB內存的平板，用於256位寬版本的GPU。

主板還包括許多額外的部件，包括英飛凌的32位微處理器；具有感測器和航跡推算能力的ublox NEO-M8L GPS/GLONASS/Galileo/北斗模塊；Nvidia TA795 Tegra SoC採用雙核CPU、四核Arm Cortex-A57和集成Pascal架構。

在Model S和Model X上，中央處理單元採用風機風冷。在Model 3上，改用汽車的冷卻系統進行液體冷卻。

AutoPilot HW3.0（即將推出）：特斯拉在2018年末宣布，該模塊包括一個特斯拉自主研發的處理器（性能遠遠超過HW2.0平台）。此前預計2019年年中生產的所有Model S/X/3車型都將配備這款新處理器。

二、接下來，我們看看特斯拉的攝像頭配置。

AutoPilot HW1.0：前向搭載1顆單目攝像頭，為Mobileye提供。後向攝像頭採用的是SEMCO（三星電機）。

AutoPilot HW2.0：彩色相機使用四個濾鏡- RGGB(紅，綠，綠，藍)，在單元格上創建一個單一的顏色像素(兩個綠色用於提高解析度/亮度)。攝像頭的其中三個濾鏡為單色可見光，另外一個使用紅色濾光片(RCCC)，增加單色光的靈敏度，檢測紅色交通燈和尾燈。

除了後置攝像頭外，其餘搭載的攝像頭都是使用Aptina AR0132攝像頭感測器(Aptina現在是安森美半導體的子公司)，1/3英寸、1.2MP CMOS，能夠在60幀每秒的速度下輸出720p；1280 x 964，每秒30幀。其中每幀有4行垂直為非可視數據（可見的為1280 x 960）。

後置攝像頭採用豪威科技的OV10635（早期使用的是OV10630） 720p CMOS感測器（1160x720，30幀每秒）。來自日本的SMK Corporation是組裝該攝像頭模塊的公司。

和AutoPilot HW1.0不同，後攝像頭模塊發生了變化，並有一個內置的加熱元件。模塊通過四根電線連接——電源和LVDS數據線。

AutoPilot HW2.5：新增的行車記錄儀和哨兵模式功能使用的攝像頭是全彩的，分別基於窄視場角的前攝像頭和左右兩側的側標誌（翼子板T標）攝像頭。

如果要啟動行車記錄功能，你需要一個小的USB快閃記憶體驅動器，在FAT32中格式化。驅動器需要手動創建一個名為「TeslaCam」的文件夾，並插入一個前USB埠。系統自動識別，同時觸摸屏上方的狀態欄中就會出現一個行車記錄儀圖標。

此時，行車記錄儀自動開始記錄，您可以通過按下圖標來控制行車記錄儀。當該功能被使用時，它會記錄一個小時，然後覆蓋舊視頻。

此外，特斯拉的軟體更新版本2018.14.1開始要求車主選擇「車輛數據共享」，其中包括通過外部攝像頭拍攝的短視頻剪輯，這些數據將用於改善Autopilot的安全性。

全部8顆車外攝像頭的位置及參數：

前向三顆攝像頭（擋風玻璃後）：前向窄視場角(1.5英寸到邊)，最大距離820英尺（約250米），35度視場角；前向主攝像頭(1.5英寸到邊)，最大距離260英尺（80米），50度視場角；前向魚眼攝像頭（位於中間），最大距離195英尺（60米），150度視場角。

左B柱攝像頭，195英尺（60米），80度視場角；右B柱，195英尺（60米），80度視場角；左視鏡下方翼子板位置後視攝像頭，325英尺（100米），60度視場角；右視鏡下方翼子板位置後視攝像頭（100米），325英尺，60度視場角。

其中，左右B柱的攝像頭，此前馬斯克曾透露，未來將用於人臉識別開門，但目前這個功能仍處於未激活狀態。

後視攝像頭最大距離160英尺（約50米），140度視場角；另外，在Model 3上還有一顆座艙內的監控攝像頭。

特斯拉此前聲稱，這顆攝像頭目前處於關閉狀態，但的確是可以用來監控司機在自動駕駛過程中的注意力。

以下是一個基於Autopilot 2.0硬體套件的自動駕駛軟體演示，特斯拉還展示了這些攝像頭的角度：這是特斯拉Autopilot用來做出駕駛決定的信息的視覺部分。

三、運算能力決定視覺處理

眾所周知，視覺處理和晶元運算能力緊密相關。

特斯拉的視覺神經網路與谷歌的有很強的相似性，此前特斯拉人工智慧和自動駕駛視覺部門的主管Andrej Karpathy在谷歌工作時負責谷歌神經網路。其中一個主要的區別是，特斯拉的神經網路使用的解析度比谷歌的計算機視覺系統更高。

此外，谷歌的ImageNet訓練數據集包含100萬幅圖像。但特斯拉擁有約30萬輛配置有HW2.0的車輛，能夠捕捉數十億張圖像。

按照去年的數據，全球特斯拉汽車保有量達到了50萬輛，而車主在開啟Autopilot的狀態下累計行駛里程達到10億英里。

Andrej Karpathy上任後，很多代碼正在從軟體1.0(由人類編寫的代碼)過渡到軟體2.0(由優化編寫的代碼，通常以神經網路訓練的形式)。在新的範例中，開發人員的大部分注意力從設計顯式演算法轉移到管理大型、多樣和乾淨的數據集，這些數據集間接地影響代碼。

特斯拉計劃今年第二季度推出Autopilot HW3.0，就是為運行深度神經網路而定製的新型處理器。官方信息是預計HW3.0的計算能力大約是HW2.0的10倍。

根據特斯拉車主的拆卸和英偉達PX 2晶元的規格，我們可以估計，HW2.0每秒大約可以執行10萬億次深度神經網路(DNN)運算（10 DNN teraops），那麼HW3.0應該有大約100 DNN teraops。

而Mobileye披露的EyeQ5晶元的性能約是24 DNN teraops，大約是HW3.0的四分之一。而根據早期Waymo的一些數據，其晶元運算能力也大致相當於100 DNN teraops。

而英偉達新推出的Pegasus，專為全自動駕駛汽車設計，廣告上宣傳的是320 DNN teraops。這是HW3.0的三倍多。

在去年三季度的一次電話會議上，Andrej Karpathy曾說過這麼一段話：我的團隊訓練了所有的神經網路，用來分析Autopilot從所有攝像頭傳回來的圖像。這些神經網路識別汽車、車道線、交通標誌等等。團隊對於即將升級的自動駕駛計算機感到非常興奮。

我們目前所處的階段是，訓練的大型神經網路運行良好，但由於車端搭載的計算能力的限制，我們無法將它們部署到車上。因此，所有這些都將隨著硬體的下一次迭代（HW3.0）而改變，這是計算能力的巨大進步。

這意味著HW3.0的推出，Autopilot的視覺處理演算法可能會出現一次重大的升級拐點。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！