嘿！你真的沒有幾天可以浪費了
2018/09/30
重要提醒
GeekPwn2018 大賽選手報名
即將截止
你聽說過「房間里的大象」嗎？
"Elephant in the room."是一個英語熟語。
房間里的大象，是顯而易見的事物，而這句話則是用於形容面對一些顯而易見的事實，大家集體視而不見、不做討論的現象。
對於人類而言，熟語歸熟語，如果房間里真的有一隻大象還是很難不被發現的。但是科學家發現在圖像識別領域，向來表現卓越的深度學習系統竟然真的無法接受「房間里的大象」：
「AI 在發現難以置信的事情後會『發瘋』，」科技媒體 Solidot 如此評價道。
AI——從認出貓到認錯貓
曾幾何時，如果有一個遙控器模樣的東西跟你說了聲「你好」，就會令你激動不已。1984 年，喬布斯讓 Mac 電腦用合成的聲音「說話」時，引來一片歡呼喝彩。就像面對一個差生，那時我們並不會要求 TA 在每次的測驗考試中都獲得滿分。
現在，人們則在網上瘋狂吐槽——誕生七年的 Siri 為何仍是個『智障』？AI 的發展之快，讓人們迅速轉而驚嘆於「AI 做錯了什麼」，而不再是「AI 終於做對了一次」。
過去十年，計算機視覺領域的各種技術已經有了巨大突破。
從上圖中不難發現，現在計算機已經可以出色完成圖像檢測以及圖像分類任務，包括從圖片中把對應物體用矩形圈出來以及進行圖像分類，也就是給物體貼上「最有可能是xxx」標籤，這就是一個機器的識別過程。
但是，最新的一項研究發現，當一個其他圖像被貼到原圖中，神經網路直接「變傻」。
在這張加了大象的圖中，研究者發現神經網路的識別開始變得有失水準了。經過更多測試，大象被貼在房間中的其他地方時，只有少數情況被識別正確。
「然後 AI 系統瘋了，它忘記了已經識別的對象，將椅子識別為沙發，將大象識別為椅子，其它此前已經識別的對象都視而不見了。」
目前，研究者還無法判斷機器視覺系統為何如此脆弱。當然，這已經不是第一次出現這樣的情況了。
「欺騙 AI」的挑戰
當前，神經網路面臨的最大的、尚未解決的難題當屬對抗樣本的存在。
通過對圖像進行一些改變，有的甚至難以被人類發現，最後產生的圖像能夠欺騙神經網路，這種圖像就是對抗樣本。對抗樣本讓我們看到 AI 並沒有那麼聰明，它們也會犯錯。
2018 年 8 月 10 日，GeekPwn 在美國拉斯維加斯 Defcon26 黑客大會現場舉行了首個以 AI 對抗樣本為手段的 Capture the Flag（CTF）攻防賽。
六組選手現場利用各自提交的防禦系統和攻擊系統進行對決，一共六輪比賽。每輪比賽每隊將會擁有一個圖像代表自己，如同《權力的遊戲》中每個家族都會有各自的家徽。
選手通過生成對抗樣本對其他戰隊進行「攻擊」，如同將自己的「家徽」加以改動，騙過敵方的守門員，讓其識別成對方的「家徽」。
GeekPwn Lab 整理了攻防對決其中的攻擊和防禦數據：
由於 YYZZ 團隊開發了「高頻率攻擊系統」，提高了有限時間內對抗樣本的訓練效率，因此他們的攻擊次數遠遠高於其他團隊。
經過分析發現，由於選手提交的識別系統都是經過了加固的，因此在對抗中表現都勝於普通分類器。其中以清華大學 TSAIL 團隊表現最為出色，471 次防禦全部成功，而攻擊成功次數也為最高，去重之後達到 15 次。
最終TSAIL 團隊獲得比賽第一，NorthWestSec 以及 YYZZ 分列二三。
一場對於未來糟糕的綵排
我們看到歌神演唱會上屢建奇功的「人臉識別」偵探，卻不知道這些人戴上眼鏡就有可能躲過偵查。
一個 3D 列印的烏龜可以被識別成手槍，那反之未嘗不可。
自始至終，這不是一場關於真假的簡單較量。
當一項技術被社會所依賴，甚至擔任起推動社會發展的責任，一個小小的瑕疵可能會成為毀掉千里之堤的蟻穴。
大多數人並不關心技術，卻可以了解下 GeekPwn。10 月 24、25 日，上海浦東喜瑪拉雅中心將迎來一群黑客，他們搞機（器人），他們玩壞人工智慧，他們讓智能設備俯首稱臣，他們可能掌握著網路空間某扇大門的鑰匙，他們可能就是我們身邊走過的一個普通人.....
TAG:GeekPwn |