萬柯訪談錄：香農與他的猜心機
訪問者：萬新宇，簡稱：萬
受訪者：柯玉鵬，某研究院院長。簡稱：柯
萬：柯院長，最近讀任總在全國科創大會上的發言，他表達了對逼近香農定理和摩爾定律極限的擔憂……
柯：任正非原話是這樣的：「華為現在的水平尚停留在工程數學、物理演算法等工程科學的層面，尚未真正進入基礎理論研究。隨著逐步逼近香農定理、摩爾定律的極限，而對大流量、低時延的理論還未創造出來，華為感到前途茫茫，找不到方向」……
萬：任總提到的摩爾定律大家很熟，而香農定理是何方神聖讓他如此憂心？
柯：要了解香農定理必先知道香農是誰……
萬：香農是誰？
柯：克勞德·香農1916年4月30日出生在美國密西根州。在一個小鎮長大，爸爸是該鎮的法官，媽媽是鎮里的中學校長，他生長在一個有良好教育的環境，不過父母給他的科學影響還不如爺爺的影響大……
萬：為什麼？
柯：爺爺是一位農場主兼發明家，發明過洗衣機和農業機械，此外香農家與大發明家愛迪生還有遠親關係……
萬：真的假的？
柯：香農小時候就崇拜愛迪生，後來才知道自己是愛迪生的遠親，他們都是約翰.歐格登，一個殖民領袖的後代……
萬：看來基因不錯！
柯：香農1940年在麻省理工獲碩士和博士學位，1941年進入貝爾實驗室。在那裡提出了信息熵的概念……
萬：什麼是信息熵？
柯：香農理論的重要特徵就是熵的概念，他證明了熵與信息內容的不確定程度有等價關係……
萬：熵不是熱力學第二定律的概念嗎？
柯：是的，熵可以理解為分子運動的混亂度，信息熵也有類似含義，中文靜態平均信息熵是9.65比特，英文是4.03比特……
萬：信息熵大，意味著不確定性也大？
柯：對，我們上次還談到一個段子：中國有兩項體育不用看，一是乒乓球一是足球，前者是誰也贏不了，後者是誰也贏不了……
萬：漢語的高語境由此可見！
柯：香農把信息量定義為隨機不定性程度的減少，即信息是用來減少隨機不定性的東西……
萬：也可以反過來定義：信息是確定性的增加？
柯：你很棒！
著名科普作家威廉.龐德斯通在記述香農的事迹時引用康奈爾大學的托比.伯格的話：一個人建立了一個學科，提出了所有的相關推測和假設，而且證明並解答了自己提出的這些推測和設想，古往今來這種情況屈指可數……
萬：真了不起！那香農定理的內容是什麼？
柯：跟牛頓定律一樣，也有三條，任總提到的應該是通信業應用最廣泛的香農第二定理……
萬：複雜嗎？
柯：並不複雜，但寫下來還是很複雜。簡單說包括三個量：a.信道容量；b.信道帶寬；c.信噪比……
萬：很簡捷嘛！
柯：關鍵是c比較麻煩，它不直接出現在公式里，而是經過了一個轉換，對非專業人士記住一點就夠了：c的轉換值跟c本身的值是正相關的……
萬：信噪比會隨著c的增大或減小而增減？
柯：你很醒目！因此我們將「香農第二定理」簡化為：a＝b×c，注意c不是信噪比本身而是和它正相關……
萬：有點兒明白了……
柯：看一下這三個量：a.「信道容量」：說白了，相當於一條路的運載能力……
萬：那信道帶寬b呢？
柯：b相當於一條路的車道數……
萬：這比喻容易理解！
柯：「信噪比」也可以用開車來形容：走一條路所用的總時間，除以等紅燈、讓行人、堵車的時間……
萬：好像代表了質量問題？
柯：對！信噪比代表了這條通信線路的傳輸質量。這三個量給定任何一個，其他兩個的關係也就定了……
萬：比如說？
柯：比如說帶寬一定，你想傳更多的信息就要降低信噪比，就好比看視頻，如果卡得受不了就切到標清模式……
萬：但會犧牲部分畫質？
柯：是的，再比如信噪比一定，你想傳更多信息就得增大帶寬。這幾年家庭帶寬從2M、10M到100M，便是這個趨勢……
萬：香農極限是什麼？
柯：香農極限就是在會發生誤碼的信道上進行無差錯傳輸的最大傳輸速率......
萬：也就是信道容量？
柯：是的，它更像絕對零度和光速一樣，在現實中極難達到。為了達到香農極限，信號序列必須無限長……
萬：這可能嗎？
柯：實際上，信道編碼的長度受著傳送時延和系統複雜性的限制……
萬：難怪任老闆憂心忡忡？
柯：自從阿法狗3:0戰勝圍棋冠軍柯潔後，AI對普羅大眾而言不再陌生，而香農在AI領域也是一個先驅者……
萬：人工智慧？
柯：香農有一位在貝爾的朋友，名叫戴夫.哈格爾巴格。他根據庫普林：「隨機性並不那麼容易實現，寫出一長串沒有側重或關聯的數字是超出人類能力範圍的」觀點，製作了一台猜心機……
萬：猜心機？
柯：這台機器很簡單，你可以把它想像成一台和你玩兒「石頭剪刀布」的機器……
萬：它能猜心思？
柯：香農見識了哈格爾巴格的猜心機後很興奮，決定自己也製作一台……
萬：結果怎樣？
柯：他的猜心機和貝爾的科學家們「玩兒」的結果是65%的勝率，哈格爾巴格的勝率為53.3%。也就是說你和機器玩100局，機器能贏65局……
萬：這麼牛？
柯：20世紀50年代，一大批科學家、工程師和數學家陸續加入貝爾。香農的猜心機由此成了辨識天才的智商測試儀。凡是自詡聰明的人都會絞盡腦汁跟機器比試一番……
萬：猜心機到底能進行多大程度的智力活動？
柯：舉個例子吧，人有10^10個神經元，最笨的行軍蟻也有200個神經元，而這台機器只有不到100個繼電器，只有16比特的存儲空間（2個位元組）……
萬：太小兒科了吧？
柯：你別小瞧了這簡單的猜心機，當時大把的數學家、天才工程師輪番上陣比試，竟無一人能贏……
萬：太遺憾了！
柯：不過有一個人贏了猜心機……
萬：誰？
柯：那個人就是香農自己。1953年，在一份備忘錄里他披露了自己獲勝的秘密：就是把自己變成一台猜心機……
萬：什麼意思？
柯：就是在精神上模擬機器的運作，弄清機器的預測，接著反其道而行之……
萬：這很難吧？
柯：香農說：「在精神上運行這一程序極端困難」，考慮到機器的設計機制，一名完美的模擬者能有75%的勝率，無法達到100%，因為機器有時候也會隨機選擇……
萬：猜心機的原理是什麼？
柯：基本原理就是人類的思維既不能理解隨機性也做不到隨機性……
萬：我覺得：隨機性還是可以理解的！
柯：就算理解了隨機性，但也做不到隨機性，還是輸……
萬：我不信！
柯：有個例子：一位來訪的數學家希策布魯赫連贏了13局，難道猜心機不靈了？事實並非如此，機器贏下了第14局，數學家不停地玩，很遺憾，他再也木有贏過一次……
萬：這麼牛叉？
柯：猜心機在進攻狀態時，它通過分析記錄對手過往的選擇情況，從中找出規律來預測對手的下一次選擇……
萬：隨機性很難？
柯：是的！當它處於防守狀態時，由於人類無法戰勝隨機性，遇到厲害的猜不透的玩家，猜心機就用隨機性應對人類，所以最差也是50%的勝率……
萬：是不是玩的時間越長越能準確預測人們的想法？
柯：是的，美國小說家愛倫.坡在《竊信案》中從心理學角度討論過：「當人們努力不想被預測的時候，總是能被預測」……
萬：這很奇怪！
柯：人越是不想被猜中，越是容易被猜中，因為每當人們要做出任意的、隨機的選擇時，總會落入能夠被預測到的無意識模式之中……
萬：香農的猜心機有什麼用？
柯：你這句話讓我想起了當年有人問：麥克斯韋方程有什麼用？麥克斯韋回答：這是抽象的數學，沒什麼用。但正是這無用的研究卻為後來有用的發明奠定了基礎……
萬：收音機就是在此基礎上發明的？
柯：國人心目中的「有用」，往往是立竿見影式的有用。這種急功近利很難使我們躋身世界科技強國之列，任正非老爺子已清醒地看到了這一點……
萬：基礎理論研究很重要！
柯：對！可以這樣說，香農的機器是最早使用了「小型文本文件cookies」的,猜心機就是現代猜心機的鼻祖……
萬：現代猜心機？
柯：現代猜心機--就是所謂的大數據，一種無所不包的演算法，它一邊跟蹤我們的每一個數字行動，一邊預測接下來可以勸誘我們買什麼東西……
萬：請舉個例子！
柯：去年明尼蘇達州的一個大型百貨店，進來一個氣急敗壞的男人對著經理髮火：「你們想鼓勵她懷孕嗎？我女兒在郵件里收到了這個」，經理一看是本店的促銷郵件，是些可愛嬰兒、嬰兒傢具和孕婦裝的照片。要知道他女兒還在讀高中，經理趕忙道歉……
萬：怎麼回事兒？
柯：原來商店裡有一個猜心機（一套預測分析軟體）：預測哪些顧客懷孕了。因為準媽媽們必須購買此前從不曾購買過的商品。預測很準確，但也難保100%......
萬：說不定這次就露怯了？
柯：過了幾天，經理向那位生氣的父親致電，再次表示歉意。「我跟女兒談了談，」那位男士說，「結果，我家裡發生了一些我毫不知情的事情。我女兒的預產期是8月份。我應該向你道歉才對。」……
萬：呵呵，真是新型猜心機！
2017年7月10日於龍崗
備註與參考
參考：360百科
參考：《剪刀石頭布》作者：威廉.龐德斯通，譯者：閭佳，浙江人民出版社，2016年3月第一版
1、萬柯訪談錄：一鍋夾生飯？
2、萬柯訪談錄：四問區塊鏈
3、萬柯訪談錄：到底誰懂個球？
4、萬柯訪談錄：為嘛要拜祖宗？
5、萬柯訪談錄：三問區塊鏈
TAG:達爾萬 |