Keras創建者深度思考：不要將AI作為操縱用戶的工具

來源：大數據文摘，編譯：傅一洋、汪小七、一針 、雲舟

本文作者是谷歌AI研究員、Keras創建者Fran?ois Chollet。他在Medium的博文中特意指出，本文是他個人的看法，而讀者要有自己的評判。同時，他也提出了對Feed內容推薦方式的一些改進，相信對「刷抖音一刷就是幾個小時」的你會有所借鑒。

還記得曾風靡一時的「電腦恐懼症」嗎？從上世紀的80、90年代一直到21世紀初，我們都能親眼目睹這種現象：伴隨著PC逐漸進入生活、工作和家庭，很多人對其感到了焦慮和恐懼，以至於去攻擊計算機。

即便還是有少數人看到了計算機技術的潛力，看好計算機行業的發展，但是，多數人因為缺乏了解，認為計算機是深不可測的，如同外星人入侵一般，多方面威脅著人類。他們擔心，人類會被技術所取代。

多數人都會反感技術的大轉變，甚至會感到恐慌。似乎人類對任何變化的反應都是如此。但其實，我們所擔心的事大都沒有發生。

在這之後的幾年中，PC愛好者已經逐漸能用計算機來謀求利益，計算機也並沒有取代人類，或引發大規模的失業，而是成為了生活的重要組成部分——如今，我們無法想像沒有筆記本、平板和手機的生活，曾經的威脅成為了依賴。

曾經擔憂的事並沒有發生，但是，計算機和互聯網技術卻帶來了80、90年代的人們所未曾預料的危機：無處不在的監控，黑客對基礎設施或個人數據的追蹤，社交媒體平台帶來的心理異化，人們耐心和專註力的喪失，肆虐於互聯網的極端思想和言論等。敵對勢力甚至可以通過劫持社交網路來威脅國家的穩定。

多數的恐懼都不是理性的。放眼過去，技術變化帶來的真正災難，從來都不曾被預料。一百年前，人們不曾預料，迅速發展的運輸和製造工業會帶來新的戰爭形式，在兩次世界大戰中殺死了數千萬人。

人們不曾預料，電台的發明促成了新的大眾宣傳形式，卻也促成了德、意的法西斯主義的形成。上世紀20,30年代，伴隨著理論物理學發展，當時的報刊上也未曾出現過擔憂這些理論會產生使世界永遠處於被毀滅威脅之下的核武器的內容。

而現在，即使氣候問題的警鐘早已敲響了幾十年，大部分（44％）美國公民仍然選擇無視。人類文明很難正確意識到威脅的存在，從而理性地警醒，反而代之以非理性的恐慌。

如今，我們再次面臨著一場根本性的變革：認知自動化的到來，簡單來說也就是「AI」。同過去一樣，我們擔心新技術的威脅——人工智慧將會導致大規模失業，或者，人工智慧會獲得自主意識，變成超人並摧毀人類。

但是，我們是否又犯了同樣的錯誤呢？是否又產生了「錯誤的擔憂」，而忽視了真正的威脅呢？人工智慧真正的威脅，可能會和「超級智能」和「奇點」的說法大相徑庭。

這篇文章的目的，就是想讓大家對以下提到的問題有個意識，這些問題才是我真正擔心的：AI可以強烈地干預甚至操控人類的行為，而這一特點會被公司或政府惡意地利用。

當然，人工智慧技術發展帶來的風險不只有此，還有「機器學習演算法會將偏見放大」等問題。這些問題已經受到了很多人的重視，而關於「人工智慧操控人類行為」的風險，鮮有人意識到，但卻是很迫切的。因此，我有必要喚起人們的意識。

機器學習演算法會將偏見放大

http://www.nature.com/news/there-is-a-blind-spot-in-ai-research-1.20805

事實上，這種風險已經成為現實，在接下來幾十年里，伴隨著長期增長的技術趨勢，還將會迅速增強。隨著生活日益數字化，社交平台越來越了解我們的生活和想法，同時，也越來越多地以內容為媒介——特別是基於演算法的內容推送，來干預我們的行為。

社交平台將人類行為視為一個優化問題，也即一個人工智慧問題：通過不斷迭代，調整控制參數，達成推動用戶做出特定行為的目的。好比AI棋手會通過評分反饋，不斷地進行策略的迭代調整，從而通過關卡。實現這一過程唯一的瓶頸就在於演算法的智能化程度，正因此，最大的社交平台公司正投資數十億美元用於AI演算法的研究。

以下將詳細介紹人工智慧被惡意使用會帶來的風險。

社交媒體成為大眾心理的監督工具

過去20年間，我們的私人和公共生活悄然完成了向線上的轉移：看屏幕的時間越來越長，工作也多與數字和信息相關。而世界也在向一種由數字信息的消費、修改和創造所構成的狀態發展。

這種趨勢是有副作用的。公司和政府不斷收集我們的大量數據，特別是通過社交平台：我們與誰交流、交流什麼、消費了什麼內容（包括圖片、電影、音樂和新聞）、特定時間會有什麼樣的心情。最終，幾乎所有我們能感知到的和所做的一切都會被記錄在某個遠程伺服器上。

理論上講，這些收集的數據滿足了公司對個人或群體進行心理建模的需求。將你經常點擊的內容與你的思想和行為關聯，將你的思想和行為同成千上萬類似的人群相關聯，實現了比單純的自我認知更加準確的性格定位（例如，Facebook用演算法評估你的個性，甚至比你朋友說的還準確）。

Facebook用演算法評估你的個性

http://www.pnas.org/content/112/4/1036

通過分析利用這些數據，很多事情都不再是天方夜譚。比如說提前幾天就預測出你什麼時候會和伴侶分開，以及下一次戀愛開始的時間和對象；或預測誰會有自殺的傾向；又或者在選舉中預測你最終的投票取向，即便你仍在猶豫不決。這種能力不僅局限於對個人的預測，還可以針對更容易分析的大群體行為，因為大群體的行為更平均化，消除了一些隨機或個人異常情況。

控制信息消費成為控制用戶的心理的手段

對互聯網公司而言，被動地收集用戶數據還遠遠不夠，它們還會越來越多地主動決定用戶消費的內容。用戶看到的信息是經過「策劃」的，不透明演算法決定了我們會讀到哪些政論文章、看到哪些電影預告、與誰保持聯繫、會收到誰的評論等。

經過多年來對我們所消費內容的收集、管理和調整，演算法對我們有了足夠強的影響力，強大到足以改變你對「我是誰？」、「我想成為誰？」等問題的答案。倘若Facebook長期決定你消費的內容（或真或假）和你的受眾，多年後，你的世界觀和政治傾向就會完全被Facebook所主導。

而Facebook的金主爸爸——廣告主們，包括政治廣告主——看中的恰恰就是它影響用戶的能力，這也是Facebook的業務根基所在。

正因此，Facebook建立微調參數的演算法引擎，它不僅能影響用戶購物的品牌，還能影響用戶的情緒，通過調整內容推送來控制你的喜怒哀樂。甚至，還可能改變選舉結果。

人類行為被視作優化問題

簡言之，社交平台已經可以即時考評用戶的一切，控制我們消費的內容，這種局面還將會加劇。通過來演算法實現感知和行動，已經屬於人工智慧的範疇了，在此過程中，針對人類的行為建立優化循環，在循環中，觀察目標當前狀態，並不斷調整輸出的內容，直到目標達到期望的狀態。

人工智慧領域的一大部分，尤其是「強化學習」，就是為了解決這種優化問題，通過演算法實現對目標（也就是我們）完全的閉環控制。而在當今數字化的生活環境下，我們也變得更容易被演算法控制。

對人類行為的強化學習循環

人類的思想極易受到社交的作用。這一特性，使得優化目標更容易達成。正如此，平台利用人類心智的特性，想出了以下的策略：

身份強化作用：歷史上第一次廣告就利用了身份強化，這種策略經久不衰。將內容與你的標籤關聯，自動地推送出你想要的內容。在人工智慧優化社交媒體消費的背景下，控制演算法能確保你看到新聞、故事、帖子，都是你希望看到的，也就是包含你的標籤的。同理，屏蔽了所有你不希望看到的內容。

社交輿論反向干預：如果平台不希望你的觀點被傳播，會將你的文章只推送給「可能會反駁」它的用戶（可能是熟人、陌生人、或機器人），讓你在多次遭受反駁後，因為輿論的壓力不得不改變原有觀點。

社交輿論正向強化：如果平台希望你的觀點被傳播，會將你的文章推送給「可能喜歡」它的用戶（甚至機器人），讓你更加堅定的認為，自己站在多數人的一方。

推送的偏向性：平台通過推送文章和內容，使得某種希望的觀點得到傳播。不均衡的信息推送，為你製造了一種「這種觀點受到廣泛支持」的假象。

參數的個性化：有時演算法會觀察到，某些心理特性與你相近的人，在長期接觸某種推送內容後，發生了觀點上的轉變，這樣的話，演算法預計這些內容會對與所有和你情況相似的用戶都會產生巨大影響，因此將相應內容推送給你。長遠地看，演算法自始至終都能推送給用戶最合適的內容。

從信息安全的角度來看，你會認為這是「安全漏洞」，而且是可用於接管整個計算機系統的已知漏洞。但對人來說，只要你還保留著人類的心智，這種漏洞就永遠無法被修復。

因為這正是人類存在的方式，根植於DNA中。人類思維本身就是個靜態的，易受攻擊的系統，也會越來越頻繁地遭受AI演算法的攻擊，這些演算法，將會完全掌控著我們的所思所想，並控制著我們消費的內容。

現狀

驚人的事實是，利用AI來控制我們的信息獲取情況，以實現大規模的人口操縱——特別是在政治方面——並不需要多高深的演算法。不需要那種具有自我意識的超智能AI出馬，目前的科技水平已經完全足夠了。近幾年來，社交網路公司一直致力於這方面的工作，並取得了顯著的成果。

雖然他們只是試圖最大限度地「參與」並影響你的購買決策，而不是操縱你的世界觀，但他們開發的工具已經成為敵對勢力進行政治活動的有利武器，就像2016年的英國退歐公投和2016年的美國總統大選，所以利用先進技術進行輿論操縱已經成為現實。

然而如果從理論上講大規模的輿論操縱可以實現，那為什麼世界還沒有被顛覆呢？

簡而言之，我認為這是因為我們對AI的研究還很差，未達到那種高度，但這種情況可能即將改變。

直到2015，整個行業的所有廣告定位演算法還都是在邏輯回歸的基礎上建立的，事實上，現在很大程度上來說還是這樣，只有一些大玩家才開始轉向更高級的演算法和模型。

邏輯回歸是一種早於計算時代的就已存在的演算法，是用來實現個性化推薦最基本的技術，也是你在網上看到的很多廣告之間都毫不相關的原因。類似地，敵對勢力使用的社交媒體機器人對公眾輿論的影響不大，就是因為目前他們使用的技術非常原始而基礎，裡面很少甚至沒有真正涉及AI的部分。但這也只是目前的情況。

近幾年來，機器學習和AI取得了飛速發展，而這一進展才剛剛開始應用於目標定位演算法和社交媒體機器人。2016年深度學習才剛剛開始應用於消息推送和廣告網路。

誰知道接下來會發生什麼？Facebook這樣的公司在AI研究和開發上已經持續投入了超大量資金，而且目標很明確，就是要成為該領域的領導者。假如你有一個社交平台，你會用自然語言處理和強化學習演算法來做什麼呢？

而我們現在在討論的Facebook，為近20億人建立了精細的心理檔案，不但成為了其中許多人的主要資訊來源，還在進行大規模的行為操縱試驗，並宣稱自己的目的是開發世界上最好的AI技術。就我個人而言，我覺得這簡直太可怕了。

然而，Facebook可能還不是最令人擔憂的威脅。思考一下，假如中國要利用信息控制來實現空前的極權主義，比如在「社會信用體系」方面，這該多可怕！許多人都認為大公司是現代世界的全能統治者，但與政府相比，他們所擁有的權力都是微不足道的。如果讓演算法控制我們的思想，政府很可能會變成比公司更糟糕的角色。

現在，我們能做些什麼呢？我們又該如何保護自己？作為技術專家，我們又能做些什麼來避免這種通過社交媒體進行的大規模輿論操縱的風險呢？

別忘了事物的兩面性——AI又能為我們做些什麼？

重要的是，這種威脅雖然存在，但並不意味著所有的演算法管理都是不好的，或者所有的有針對性的廣告也都是不好的。事實遠非如此，這兩種方法都是有其價值的。

隨著互聯網和AI的興起，讓演算法來控制我們的信息獲取不僅是必然趨勢，也是人之所向。我們的生活變得越來越數字化，人與人之間聯繫越來越密切，而且我們面對的信息也越來越密集，AI將成為我們與世界的連接。

從長遠來看，教育和自我發展將是AI最有影響的兩方面應用，而這一切都是AI企圖通過控制信息推送來操控你的鏡像動態反映。演算法信息管理能在很大程度上幫助我們，它可以幫助個人發掘更多的潛能，幫助社會更好地自我管理。

問題不在於AI本身，而在於怎麼去利用它

我們應該讓用戶控制演算法優化的目標，而不是讓信息推送演算法操縱用戶以達成某些人不明不白的目的，例如左右用戶的政治觀念，或者儘可能多地佔著用戶寶貴的時間。

畢竟，「你」才是我們所談論的主體，我們談論的是你接觸的資訊、你的世界觀、你的朋友、你的生活——科技如何影響你自然也應該由你自己來控制。

信息管理演算法不應該被作為一種神秘的力量強加於我們，服務於與我們利益相違背的目標；相反，它們應該是我們手中的工具，用來實現我們自己的目的，比如說，用於教育和個人發展，而不是娛樂。

我有一個想法——任何被廣泛使用的演算法化消息推送都應該有有以下特點：

清楚地告訴用戶feed（消息源，是一種資料格式，網站透過它將最新資訊傳播給用戶）演算法的優化目標是什麼，而這些目標又對用戶的信息獲取有什麼影響。

讓用戶可以用直觀的工具去自己設置這些目標。例如，用戶應該可以配置自己的消息推送內容，在某些特定領域儘可能地多學習知識和得到提升。

對用戶在feed上花費的時間有個始終可見的量化指標。

構建相關功能來控制用戶每天在feed上花費的時間，例如每日時間指標，在用戶使用時長超標後，演算法會試圖讓用戶退出feed。

控制並用AI增強自己

我們認為AI應該是來服務人類，而不是為了利益或政治目的而操縱人類。如果信息推送沒有淪為賺錢和宣傳的工具，它能做些什麼？如果這種演算法扮演的角色更像是一位良師益友或一位優秀的圖書管理員，它會對你的心理進行細膩解讀，並結合其他數百萬類似的研究結果向你推薦下一本書，讓你獲得成長，你還會像今天這樣恐慌AI帶來的危機嗎？

我們應該讓AI成為用戶生活的導航工具，引導用戶參考前人經驗通過最佳路徑到達自己想去的地方。你能想像用一個已經見證了數百萬人生命的系統的眼光來審視自己的生活嗎？

或者你能想像與一個閱遍天下書籍的系統共同創作一本書嗎？更或者你能想像與一個全面了解當前人類知識體系的系統進行合作研究嗎？

在你完全控制，並能與你互動的AI產品中，一個更先進的演算法並不是威脅，而將是一個積極的幫助者，它能讓你更有效率地實現自己的目標。

建立與Facebook不同的產品

總而言之，未來AI將成為我們面向數字信息世界的介面。對個人而言，AI要麼使其獲得對生活更好的控制權，要麼使其完全失去對自己的控制力。不幸的是，社交媒體目前正走在錯誤的道路上，但好在為時不晚，還來得及改正方向。

作為一個行業，我們需要開發類別化的產品和市場，其中的商業激勵機制包含將用戶放在演算法的控制地位，而不是反過來利用AI從用戶的思維中榨取利益或達到政治目的。我們需要的是努力開發與Facebook們截然不同的產品。

在遙遠的將來，這類產品可能會以AI助理的形式出現。這些數字化的嚮導已經被設定好程序，它的使命是在與你的互動中幫助你實現目標，而這些目標是什麼則完全取決於你。

目前，搜索引擎可以被看作是AI服務於用戶的早期而基礎的例子，搜索引擎是AI驅動的信息交互產品，它為用戶提供服務，而不會試圖反向利用用戶的心理空間。

搜索引擎是一種工具，你主動地在需要的時候用它來找你想找的東西，而不是由它來源源不斷地決定給你看些什麼。你想要什麼就告訴它，搜索引擎是用來幫助你儘快回答或解決問題，而不是浪費時間的。

你可能會想，不論如何搜索引擎本質上還是用到了AI，它會不會偏向於通過控制信息操縱我們呢？的確，每種信息管理演算法都有這樣的風險。但與社交網路形成鮮明對比的是，在這種情況下，市場激勵實際上是與用戶需求相一致的，這使得搜索引擎的結果會儘可能的相關和客觀。

因為如果它們能最大限度地發揮作用，用戶就沒有必要去使用競爭產品。更重要的是，搜索引擎給用戶造成的心理攻擊比社交媒體要小得多。真正會給用戶帶來前文所提及的AI威脅的產品，會滿足如下幾點：

能夠感知並利用用戶：真正危險的產品不僅會控制它向你展示的信息(新聞和最新社會動態更新)，還能夠通過點贊記錄、聊天消息和狀態來「感知」你當前的心理狀態，並知道如何利用這種狀態。假如沒有這種感知和利用，就無法建立強化學習迴路，而對於一個僅擁有單向傳遞功能的信息流來說，最大的威脅也只是被利用為宣傳和營銷工具。

不知不覺成為用戶的生活中心：這種產品是至少一個用戶群體的主要信息源，並且典型用戶應該每天會花好幾個小時在它上面。如果Feed僅作為一種輔助性信息源，並且是有功能針對性的(比如Amazon的產品推薦)，它就不會構成嚴重的威脅。

成為社交本身甚至社會的一部分：這樣的產品能構成更廣泛和更有效的心理控制載體陣列(特別是社會強化)。一個毫無人情味的的消息源對我們思想的影響非常有限。

該產品以操縱用戶，使用戶在產品上花費更多時間為核心目的。

事實上大多數AI驅動的信息管理產品不符合這些條件。作為技術人員，我們應該傾向於使用那些不具備這些特性的產品，並反對那些將它們組合在一起的產品，因為它們的組合一旦被誤用，後果將不堪設想。我們要積極構建搜索引擎和數字化助手，而不是社交媒體。

要使我們的推薦引擎透明、可配置和有建設性，而不是像老虎機那樣儘可能地吸引人「參與」和浪費時間。在你的演算法中加入UI、UX和AI專業知識，來為你的演算法構建出色的配置面板，從而使用戶能夠根據自己的條件使用產品。

更重要的是，我們應該針對這些問題對用戶進行相關教育，使他們學會拒絕使用操縱性產品，從而產生足夠的市場壓力，使技術產業真正將用戶需求放在首位。

總結：分岔路的選擇

社交媒體不僅對我們有足夠的了解，可以為個人和群體建立強大的心理模型，而且還越來越多地控制著我們的信息獲取。它可以利用一套極其有效的心理策略來控制我們的信念、感受和行為。

一個足夠先進的AI演算法，既能感知我們的精神狀態，又能對我們的精神狀態做出反應，在一個連續的循環中，可以有效地干預我們的信念和行為。

使用AI作為我們的信息介面不是問題本身。這樣的AI介面，如果設計良好，將有潛力給我們所有人帶來極大的益處和助力。關鍵因素是：用戶應該完全掌握演算法目標的控制權，將其作為一種工具來幫助實現自己的目標（就像使用搜索引擎一樣）。

作為技術人員，我們有責任重建那些失去控制的產品，並致力於構建可以讓用戶管控的信息交互界面。不要將AI作為工具來操縱用戶；相反，把AI作為可供用戶使用的一種工具，使用戶可以在不同情況下都可以最大化收益。

AI的發展正處在一個分岔的路口，一條路的終點讓或許會毀滅人類文明，而另一條則通向人性化的未來。我們還有時間去做出更好的選擇。

如果你是研究這些技術的人員，請記住這一點：你可能沒有惡意，或者你可能根本不在乎，也或者你可能更看重你自己的人生，而不是我們共同的未來。但不管你是否在乎，因為你參與了數字化世界的基礎建設，你的選擇就會影響著我們所有人，你終究是要對他們負責的。

https://medium.com/@francois.chollet/what-worries-me-about-ai-ed9df072b704

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！