Karpathy加盟特斯拉，擔任人工智慧與自動駕駛視覺總監

選自TechCrunch

機器之心編譯

今日，特斯拉宣布前 Open AI 研究員、斯坦福大學博士生 Andrej Karpathy 擔任特斯拉人工智慧和自動駕駛視覺總監（Director of AI and Autopilot Vision），直接向 Elon Musk 負責。Andrej Karpathy 博士生期間就已聲名鵲起，此次加盟特斯拉更是受到了極大的關注。比較有趣的是，從 Open AI 招攬研究員，特斯拉也算是近水樓台啊（Elon Musk 與他人共同創立了 Open AI）。

剛剛得到的消息，科技汽車公司特斯拉宣布計算機視覺著名學者 Andrej Karpathy 加盟，他已成為該公司自動駕駛研究部門的一員。在此之前，Karpathy 是伊隆·馬斯克旗下的人工智慧研究機構 OpenAI 的研究者。這位畢業於斯坦福大學的計算機視覺專家擁有人工智慧領域的豐富履歷，他在博士期間曾師從於著名學者李飛飛，研究卷積/循環神經網路架構與計算機視覺應用。

在學習期間，Andrej Karpathy 還共同構建了斯坦福大學最受尊敬的深度學習教程，他在斯坦福大學的研究著重於構建一個神經網路系統，通過識別圖像中離散的特徵點用自然語言對圖片進行標註。此外，他還構建了一個反向系統，通過用戶描述的自然語言（如「白色網球鞋」）來搜索圖片庫中的圖像。

從斯坦福畢業後，Karpathy 曾在谷歌研究院、DeepMind 等公司和機構實習，他的研究專註於深度學習。他在計算機視覺領域的專長顯然被特斯拉視為巨大的財富——這家著名公司一直試圖打造面向未來的自動駕駛技術。

Andrej Karpathy 在特斯拉的新職位是：人工智慧和自動駕駛視覺總監（Director of AI and Autopilot Vision），特斯拉表示，Karpathy 將直接向馬斯克負責，但同時也會與特斯拉副總裁、負責自動駕駛硬體與軟體工程的 Jim Keller 共同工作。

特斯拉宣布 Andrej Karpathy 加盟的聲明如下：

Andrej Karpathy，世界一流的計算機視覺和深度學習專家之一，現在已經以人工智慧和無人駕駛視覺總監的身份加入了特斯拉，可以向 Elon Musk 直接進行彙報。Andrej 曾經通過對 ImageNet 的研發給予計算機以視覺，通過對生成模型的開發給予計算機以想像力，並且通過強化學習給予其瀏覽互聯網的能力。

Andrej 在斯坦福大學拿到了他的計算機視覺博士學位，在那裡他就可以應用深度神經網路來推導出圖像的複合形式。比如，不僅僅能簡單地識別圖片里有一隻貓，還能識別出這是一個「橙色斑點」貓，正騎在一個棕色木板和紅色輪子製成的滑板上。他也創辦並且教授了「用於視覺識別的卷積神經網路」（「Convolutional Neural Networks for Visual Recognition」）這門課程，這是斯坦福大學的第一個深度學習課程，直到現在仍然處於業內領先地位。（相關課程鏈接：http://cs231n.stanford.edu/2016/）(http://cs231n.stanford.edu/2016/%EF%BC%89)

Andrej 將會和 Jim Keller 緊密配合，後者現在已經全權負責無人駕駛的硬體和軟體開發。

Karpathy 的個人簡歷時間線

個人簡介：Andrej Karpathy 是深度學習計算機視覺領域、生成式模型與強化學習領域的研究員。博士期間師從李飛飛研究卷積／循環神經網路架構，以及它們在計算機視覺、自然語言處理以及二者交叉領域的應用。在讀博期間，兩次在谷歌實習，研究在 Youtube 視頻上的大規模特徵學習，2015 年在 DeepMind 實習，研究深度強化學習。與李飛飛一起工作時，設計、教授了新的斯坦福課程《卷積網路進行視覺識別（CS231n）》。博士畢業論文為《CONNECTING IMAGES AND NATURAL LANGUAGE》。

論文：連接圖像與自然語言（CONNECTING IMAGES AND NATURAL LANGUAGE）

論文鏈接：http://cs.stanford.edu/people/karpathy/main.pdf

審核導師

摘要：人工智慧領域的一個長期目標是開發能夠感知和理解我們周圍豐富的視覺世界，並能使用自然語言與我們進行關於其的交流的代理。由於近些年來計算基礎設施、數據收集和演算法的發展，人們在這一目標的實現上已經取得了顯著的進步。這些進步在視覺識別上尤為迅速——現在計算機已能以可與人類媲美的表現對圖像進行分類，甚至在一些情況下超越人類，比如識別狗的品種。但是，儘管有許多激動人心的進展，但大部分視覺識別方面的進步仍然是在給一張圖像分配一個或多個離散的標籤（如，人、船、鍵盤等等）方面。

在這篇學位論文中，我們開發了讓我們可以將視覺數據領域和自然語言話語領域連接起來的模型和技術，從而讓我們可以實現兩個領域中元素的互譯。具體來說，首先我們引入了一個可以同時將圖像和句子嵌入到一個共有的多模態嵌入空間（multi-modal embedding space）中的模型。然後這個空間讓我們可以識別描繪了一個任意句子描述的圖像，而且反過來我們還可以找出描述任意圖像的句子。其次，我們還開發了一個圖像描述模型（image captioning model），該模型可以根據輸入其的圖像直接生成一個句子描述——該描述並不局限於人工編寫的有限選擇集合。最後，我們描述了一個可以定位和描述圖像中所有顯著部分的模型。我們的研究表明這個模型還可以反向使用：以任意描述（如：白色網球鞋）作為輸入，然後有效地在一個大型的圖像集合中定位其所描述的概念。我們認為這些模型、它們內部所使用的技術以及它們可以帶來的交互是實現人工智慧之路上的一塊墊腳石，而且圖像和自然語言之間的連接也能帶來許多實用的益處和馬上就有價值的應用。

從建模的角度來看，我們的貢獻不在於設計和展現了能以複雜的處理流程處理圖像和句子的明確演算法，而在於卷積和循環神經網路架構的混合設計，這種設計可以在一個單個網路中將視覺數據和自然語言話語連接起來。因此，圖像、句子和關聯它們的多模態嵌入結構的計算處理會在優化損失函數的過程中自動湧現，該優化考慮網路在圖像及其描述的訓練數據集上的參數。這種方法享有許多神經網路的優點，其中包括簡單的均質計算的使用，這讓其易於在硬體上實現並行；以及強大的性能——由於端到端訓練（end-to-end training）可以將這個問題表示成單個優化問題，其中該模型的所有組件都具有一個相同的最終目標。我們的研究表明我們的模型在需要圖像和自然語言的聯合處理的任務中推進了當前最佳的表現，而且我們可以一種能促進對該網路的預測的可解讀視覺檢查的方式來設計這一架構。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！