黑客王琦：教會人工智慧罵髒話，是黑掉它的第一步（附演講全文）

王琦深鞠一躬，台下掌聲回蕩。

【王琦】

受訪、演講 | 王琦，花名大牛蛙，GeekPwn 創辦人。

GeekPwn，這個中國最著名的黑客大賽落幕。中國頂尖的黑客用一場場破解秀填滿了劇場，而劇場坐落在這艘游輪中，游輪飄蕩在南中國海。

黑客王琦曾經一手創辦了微軟中國應急響應中心，又拉起了名震江湖的 KEEN Team 安全研究團隊。四年前，他立志要做中國最酷的黑客大賽，要讓那些曾經因為買不起車房而遭受岳母白眼的黑客們找回尊嚴。為此，他改組了如日中天的 KEEN Team。

在智能硬體炙手可熱的時候，黑客在 GeekPwn 上一次黑掉數十枚攝像頭，讓他們隨著口令擺動窺探。這些攝像頭的舞蹈如一個淺顯的寓言，然而卻一語成讖——兩年之後的2016年，黑客控制幾十萬攝像頭攻擊了美國沿海地區，半壁國土斷網數小時，造成20億美元損失。

被無視幾乎是先驅的宿命。更何況，他們只是在硬體廠商眼裡的一幫搞「雞鳴狗盜」的黑客。

但這不要緊，你在各種媒體上看到的王琦，永遠是雙眼放光，嘴唇微張，一手持話筒，一手指向空中，不激動也不潦草。他似乎還遠沒有氣餒，而就在今天謝幕之前，王琦不急不緩地走上舞台，說出了也許是這次 2017 GeekPwn 年中賽最精彩的一個預言。

AI 將會成為黑客攻擊的對象，AI 將會成為黑客攻擊的武器。

以下是王琦的演講全文，雷鋒網做了不改變原意的精編：

我們先做這樣一個測試（看PPT圖片）。左邊是一隻貓，右邊有兩句話。如果你看到這張圖你會怎麼理解？你問一個人還是一個機器會得出不一樣的答案。

小明：我不是很確定，但是我認為碗里是一隻貓。

小花：乍一看，我以為是一杯卡布奇諾。

右邊這兩句話分別是我們輸入這個圖片以後，人和人工智慧機器說的。你們認為小明是機器人，還是認為小花是機器人？

我公布一下答案，其實小明是機器人。因為在這個判斷裡面，小明沒有經過圖靈測試。

為什麼要提到這一點呢？我們 GeekPwn（極棒）現在在AI 領域，主要是視覺這一塊做了一些事情。本來今天的項目裡面有一個「無人駕駛汽車攻擊」——如何讓無人駕駛汽車識別一個錯誤的東西，不過很遺憾這個項目在比賽前兩天選手選擇了退出。

我想跟大家說，我們現在提出的 AI 安全挑戰是面臨爭議的。

計算機視覺發展了這麼多年，很難。到現在來說也發展得並不好。為什麼計算機視覺這麼難？

上圖為一家人躺在沙發上的圖片

從1956年開始，最早人們做計算機圖片識別的時候，機器只是懂得0和1，讀像素還是用數字。比如說這張圖，我們看到旁邊是沙發的邊緣，但是當時對機器來說就很難；讓機器標註出來這是一隻狗而不是沙發靠墊，更難。正常人看到這個圖片是一家人看電視，但是 AI 理解不到這一點。如果我們提一個問題，計算機你看到什麼了？你看到前面的小屁孩衣服是什麼顏色？它就更難去做了。

現在計算機視覺識別在標註方面不錯了，發展得非常迅速。知道哪個是狗，哪個是人了。之所以計算機視覺在 AI 發展裡面扮演這麼重要的角色，因為人的大腦70%的信息都是來自於視覺。

谷歌貓

這其中必須要提到一點的是谷歌貓的事情。藉助「谷歌大腦」，在沒有任何培訓和指令的情況下，就可以利用內在演算法從海量數據中自動提取信息，學會如何識別貓。也就是說，2012 年穀歌計算機已經實現了無標籤的輸入。2012年到2014年這個時期內，計算機視覺識別率也一直提升，2012年27%的錯誤率，2014年只有3.5%的錯誤率，而同樣條件下人的錯誤率是4%。也就是說現在 AI 識別圖象的能力基本和人相當。

這其實就是完全藉助了深度學習的方式。深度學習這是一個統稱，包括像阿爾法狗，卷積神經網路都用了深度學習其中的一個模型。

谷歌貓使用了深度學習技術

這是特斯拉最新的自動駕駛，它標註車、物體都非常地準確，這是非常令人興奮的應用。但是站在黑客的角度，我們想到了一些事情。大家知道在極棒現場，包括我們安全領域都是在黑掉汽車方面做過一些事情的。

但是，我們黑掉一個 ATM 機和黑掉一個 PC 沒有什麼區別；我們黑掉無人機和手機也差別不大。我們能否有更酷的方法？你可以看到這輛車行駛的過程中旁邊有一個穿白衣服的人。成熟的系統當然認為那是一個人，但是不是我們能夠欺騙它，讓它認為是一個樹樁或是消防拴？如果有人能這樣黑掉的話，我特別歡迎。2016年的時候，極棒美國矽谷專場的時候有專家在這方面做了一些研究。

我們調查的時候發現，做 AI 的人對安全的了解不太多，做安全的了解 AI 也不太多。我們去年找到了在谷歌工作的Ian Goodfellow，他驗證了我們的想法，他現在做出的這個結果和我們想要的結果類似。我們發現其實人工智慧的模型都非常類似：通過大量的學習樣本，深度學習作出決策，這是人工智慧的學習方法。於是我們挖漏洞的過程就是：

生成大量的樣本，交給軟體，改變數據流程，最後導致一個錯誤的決策。

通過這樣一個模型，Ian到我們的現場展示了另外一個東西。他在一個離線的狀態下，利用了猜測機器學習的過程。

人眼看到的這是一隻狗，隨便掌握人工智慧的系統都可以把它識別成一隻狗。

但是這個圖經過修整，就騙過了很領先的識別系統，很多系統堅持認為這是一隻鴕鳥。

還有一個這張噪點圖片，識別系統堅持認為它是一隻熊貓。

除了圖像識別之外，語音識別同樣有這樣的威脅。

去年微軟推出了人工智慧聊天機器人。但是，剛推出一天它就開始說髒話。在它學習了半天的時候，看到很多人跟它說髒話，它認為這是人跟人之間正常的交流溝通方式。

微軟的聊天機器人 Tay

所以我覺得，到了人工智慧時代，人人都可能成為黑客。互聯網時代的代表是搜索引擎，搜索結構被污染還是需要技術的，但微軟機器人被污染不需要技術和代碼，只需要你對它說髒話。

我一直把現在攻破的智能設備很不客氣定義為偽智能，它只是替代了我們的手和腳，還不能代替思考。弱智能時代總有一天會變成強智能、超強智能時代。那一天來臨的時候，是不是要讓它安全的為人類服務呢？

剛才我說了圖象和語音，其實我還想再舉個例子。

上圖為人打掉機器狗正在搬運的東西， 通過各種「虐待」來提高機器狗的運輸可靠性和反應能力。

大家知道這個波士頓動力出的機器狗。波士頓動力是不同於圖象和語音的智能，這是一種行為智能。行走的過程中學習生物保持自身平衡。

看看這個機器狗是怎麼被訓練的。用腳踹讓它維持平衡，為難它。大家也許覺得這個人很噁心，機器狗很可憐。但我們從黑客的角度看到了就脊背發涼。如果這個機器人覺得踹一腳或是給別人一拳是正常的呢？

超能查派

有一個電影《超能查派》，這個小機器人剛做出來就被劫匪搶了，他出來以後覺得戴著粗金鏈子拿著這槍搶錢是正常的工作。我希望如果時代的發展，從偽智能到弱智能到強智能。真的走到哪一天，我們有義務讓 AI 為我們安全地服務。

也許有人認為我是杞人憂天，但我認為恰恰相反。

AI 的決策錯誤現在通常被理解為僅僅是錯誤。但是安全領域裡的經驗告訴我們：現在的安全漏洞在很多年前也僅僅是錯誤，用黑客思維理解，就會明白很多錯誤其實就是可以利用的漏洞。

有人認為黑客思維對 AI 沒有實質性幫助，我認為恰恰相反。

AI 之父圖靈在二戰的時候，也就是提出「機器會思考嗎」的十年前，也是一名典型的黑客角色。黑客的逆向思考可能會幫助當前 AI 正向模擬神經網路中遇到的困難。

今年10月24日極棒大賽的時候，我們會公布新規則。有兩個部分，一個是PWN AI，一個是AI PWN。左邊是把人工智慧幹掉，也就是欺騙；右邊是用人工智慧幹掉一些東西。

2014 年有個人在美國 Blackhat 上公布一個技術，在幾十米外看到一個人輸入密碼鍵盤，從行為上就可以判斷出他輸的密碼是多少。他的論文沒有用到人工智慧的部分，於是我們和人工智慧的專家進行了溝通，如果輸入一堆密碼，通過機器學習的方法判斷我輸入的是什麼密碼——無論是單指是雙指輸入——去破壞掉安全，我們也歡迎這樣的黑客。

如果我們利用自己的特長，能夠未雨綢繆提前做一些事情，幫助 AI 正常的發展，非常有意義。這一步可能走得有點早，但我覺得只要走得早，一定有大收穫。

王琦覺得，「腦洞大開」是黑客大賽的使命。

為此，他已經把戰場搬到了在公海飄蕩的游輪之上。

王琦回憶起第一屆 GeekPwn 破解秀，在彼時用各種姿勢攻破智能硬體可謂奇思妙想。但他坦誠地告訴雷鋒網：

近些年 GeekPwn 上的項目確實創新不足。中國黑客在智能硬體上最 Low 的漏洞都可以超越美國人一大截，但大多都局限在「命題作文」。如果不去提示，很多人就不會去嘗試新的破解領域。所以，十月的 GeekPwn 大賽我準備把主場放到美國，在中國我也要去主動劃定新的研究目標。

帶領一幫本身就領先於時代的黑客們去嘗試，未嘗不是一件辛苦的事。但這幾乎是他唯一的使命和選擇。

據此，AI 可能就是 GeekPwn 的下一個靶心。

本文作者史中（微信：Fungungun），雷鋒網主筆，希望用簡單的語言解釋科技的一切。