你已經知道比特幣，但知道「比特」從何而來嗎？

比特幣里的 Bit, 源於信息的最小單位。信息如何定義, 又如何計量？

文 | ChainNews（ID:chainnewscom）

Claude Elwood Shannon，人稱香農，美國數學家、電子工程師和密碼學家，被譽為資訊理論的創始人，與愛因斯坦、牛頓智力相當。但你可能不知道的，愛迪生 Thomas Alva Edison 是他的遠房親戚，他的親祖父發明了洗衣機和許多農用機械。

1916 年 4 月 30 日，Claude Elwood Shannon 香農出生於美國密歇根州 Gaylord 鎮。他從小便對於密碼學感興趣，尤其喜歡愛倫·坡的短篇小說《The Gold Bug》中文譯作《金甲蟲》，解碼一張神秘地圖，英雄找到了寶藏。

Claude Elwood Shannon，1916-2001，被認為是有史以來最偉大的電氣工程英雄之一，攝影：Stanley Rowin

他最著名、最具影響力的論文莫過於「A mathematical theory of communication」，是資訊理論的奠基之作，精確地定義了信源編碼、信道編碼等概念。然而，這篇恢宏巨作，當年也被拒過稿。審稿者的回復大致是：電報都出現過百年了，沒什麼要繼續突破的，勸作者去嘗試研究下剛出現沒多久的電視機。

Confidential comments to the editor:
The only thing absolutely wrong with this paper is that it doesn"t quite "resonate" with what the research community finds exciting. At any point, there are sexy topics and unsexy ones:
These days, television is sexy and color television is even sexier. Discrete channels with a finite number of symbols are good for telegraphy, but telegraphy is 100 years old, hardly a good research topic.

否掉「通信的數學理論」的審稿者回復

其實我們一直生活在 Claude Elwood Shannon 資訊理論的影響中。但有沒有想過，你真的了解 information「信息」么？你也許通過比特幣 Bitcoin 知道了 bit，或者早就聽說過 bit，但知道 bit 是信息的最小單位么？

香農與圖靈，人工智慧的設想

二戰期間，Claude Elwood Shannon 加入貝爾實驗室，研究火力控制系統和密碼學，相關課題直屬國防研究委員會領導。

在貝爾實驗室，他與信息技術史上另外兩位先鋒人物 Barney Oliver、John Pierce 保持著良好關係，因為與他欽佩的高智商、創造力的人圍成一圈，香農受益於這樣的過程，愈發變得聰明，和更有創造力。也可見，Claude Elwood Shannon 對友誼的態度主要集中在內容上，而不僅是關係上。

Claude Elwood Shannon 在貝爾實驗室

1943 年，英國數學家、密碼學家阿蘭·圖靈到華盛頓和美國海軍交流破譯德國北大西洋潛艇艦隊密碼的成果，曾造訪貝爾實驗室。二戰期間，圖靈與香農二人都是負責通信加解密的工作。

期間，圖靈與香農進行了生動的知識交流，討論到人造思維機器的設想，接近今天我們所說的人工智慧。圖靈向香農介紹了通用圖靈機的概念，香農則告訴圖靈，他不僅滿足於向這台「大腦」里輸入數據，還希望把文化的東西灌輸進去。這一不可思議的想法，連圖靈都被震驚到。

圖靈比香農年長 4 歲。

信息，從 intelligence 至 information

「資訊理論」information theory，即研究「信息」的理論。信息極大地釋放了人類的能量，它所創造的價值超過了之前五千年的財富總和，但「信息」依然是大家耳熟能詳卻又含義模糊的詞。

Claude Elwood Shannon 資訊理論的偉大貢獻在於，可以用數學公式嚴格定義信息的量，反映了信息表達形式在統計方面的性質。

在 20 世紀早期，信息的載體隨處可見，信件、電話、聲音和圖像，信息在全球川流不息地流動著。據美國人口普查局統計摘要，截至 1948 年，美國每天有 1.25 億次的通話要經過貝爾系統 2.22 億公里的有線電纜和 3100 萬台電話機進行傳輸。此外還有 3186 家無線電廣播台、15000 家報社及 4000 億封信件。

如此多的信息流動，信息又該如何衡量？郵局可以計算信件和包裹的數量，但貝爾系統傳輸的信息，該用什麼單位計數呢？當時沒有一個詞能夠精準地概括所有這些東西。Claude Elwood Shannon 在 1939 年寫給 Vannevar Bush 的信件中提到，他時斷時續地在研究信息 intelligence 一般系統的某些基本屬性。

說到 intelligence 一詞，Thomas Elyot 爵士在 16 世紀總結過，「Intelligence 是一個文雅的說法，表示通過相互交換信件或者口信達成協議或者約定」。但現在我們所指的信息，與當時所說的 intelligence 出入越來越大。

1948 年 7 月貝爾科研期刊，C. E. Shannon「通信的數學理論」

後來，一些貝爾實驗室的工程師開始更多地使用 information 一詞，用於表達一些技術性的概念，如信息的數量、測量等。Claude Elwood Shannon 身為其中一員，在後來「資訊理論」中也採用了 information 這個詞。自此，information 逐漸成為了主流。

回溯從前，當物理學的發展遇到了瓶頸，牛頓也是將一些傳統但又定義模糊的辭彙，如力、時間、質量等重新定義，讓物理學開始了一個新的時代。也正是牛頓把這些詞加以量化，和放在數學公式里。

那麼，如何把信息放進數學公式里？

信息單位「比特」Bit 被定義

通信學科是最早系統性地研究信息理論的學科，在資訊理論被提出之前，數字通信發展的一些大事件：

1837 年，Morse：有線電報；

1875 年，Emile Baudot：定長電報編碼；

1924 年，Nyquist：給出了給定帶寬的電報信道上無碼間串擾的最大可用信號速率；

1928 年，Hartley：在帶限信道中當最大信號幅度 Amax，幅度失真為 Ad 的條件下存在一個可靠通信的最大數據速率；

1939-1942 年，Kolmogorov 和 Wiener：最佳線性 Kolmogorov-Wiener 濾波器；

1947 年，Kotelnikov：基於幾何方法的各種相干解調。

1948 年，貝爾實驗室：研發出小型電子半導體器件「晶體管」transistor；Claude Elwood Shannon 發表專題論文《通信的數學理論》「A mathematical theory of communication」。

出奇簡單的「晶體管」設備，比真空管效率更高，體積更小，更容易集成。「晶體管」transistor 的名稱，由 transconductance（跨導）和 varistor（壓敏電阻）兩個單詞合併而成，沿用至今。貝爾實驗室表示，「晶體管」將對電子和電信行業產生深遠影響。此後，晶體管引發了電子技術的科學革命，半導體技術微型化和開始普及。但這只是這場電子行業革命的硬體部分。

「晶體管」transistor 發明者 Wiliam Bradford Shockley、John Bardeen、Walter Brattain 三人獲得了 1956 年諾貝爾物理學獎

同樣在 1948 年，Claude Elwood Shannon 一篇專題論文《通信的數學理論》「A mathematical theory of communication」價值可能更加巨大。論文的唯一作者，當年 32 歲的 Claude Elwood Shannon 自行定義了一個新的單詞——bit「比特」。

Claude Elwood Shannon 認定，信息是和長度、重量這些物理屬性一樣，可以測量和規範。如今，比特作為衡量信息多少的單位，與公尺、千克、分鐘一樣，成為日常生活中的最常見的量綱之一。

用 bit 作為量綱衡量後，人們發現信息幾乎無處不在。比特 bit 的出現在後來引領了電腦、網路、摩爾定律，和如今發達的信息產業、比特幣與區塊鏈。

同時，Claude Elwood Shannon 提出用信息熵 entropy 來定量衡量信息的大小，並為信息編碼提供了理論上的最優值。

他從理論證明：只要通信速率低於信道容量，總可以找到一種編碼方式，使得誤差概率接近於零。而信道容量可以通過香農公式，依信道的帶寬、雜訊特徵簡單地計算出來。這結論震驚了整個通信理論界，自此開創了「資訊理論」這門偉大的學科。

獨輪車上的 Claude Elwood Shannon

密碼從藝術轉變為科學

1949 年，Claude Elwood Shannon 基於 1945 年他在貝爾實驗室完成的機密報告「A Mathematical Theory of Cryptography」公開發表了《保密系統的通信理論》一文，開闢了用資訊理論來研究密碼學的新思路。《波士頓環球報》稱，「這一發現將密碼從藝術變成為科學」。論文發表後，香農被美國政府聘為政府密碼事務顧問。

「A Mathematical Theory of Cryptography」使 Claude Elwood Shannon 成為近代密碼理論的奠基者和先驅

可以說《保密系統的通信理論》奠定了現代密碼理論的基礎。他提出，「從密碼分析者來看，一個保密系統幾乎就是一個通信系統」。密碼系統中對消息的加密的作用，類似於信息中存在的雜訊。密鑰的隨機性是關鍵所在。

這使「資訊理論」成為密碼研究與分析的重要理論基礎，將密碼學從藝術變成了科學。傳信系統中的信息傳輸、處理、檢測和接收過程，與密碼系統中的加密、解密、分析和破譯過程，都可以用資訊理論觀點統一分析研究。

Claude Elwood Shannon 曾在論文里指出，優質密碼系統的設計問題本質上是尋求一個困難問題的解，使破譯密碼等價於解某個已知數學難題。受此思想啟發，Bailey W. Diffie、Martin E. Hellman 於 1976 年在《IEEE Transactions on Information Theory》上發表論文「New Direction of Cryptography」詮釋密碼學的新方向，同時標誌著公鑰密碼學的誕生，Diffie 與 Hellman 也因此在 2016 年獲得圖靈獎。

在鐵器時代、蒸汽時代之後，人們進入了信息時代。馬歇爾·麥克盧漢在 1964 年評論道： 人們曾經以採集食物為生，而如今他們要重新以採集信息為生。信息遠不止局限在通信行業，早已滲透到了各個科學領域。

正如資訊理論學科的著名學者 Richard Blahut 在美國密歇根州 Gaylord 鎮舉行香農塑像的落成典禮上所說的，兩三百年之後，當人們回頭再看我們這個時代，他們可能不會記得誰曾是美國總統，誰曾是影星、歌星。但可能會知曉 Shannon 香農，因為學校里仍在教授「資訊理論」。

■

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！