QQ 小冰被禁言了，我們來談談聊天機器人的「犯罪」史

科技 08-01

摘要：AI 是單純的，是世界太複雜。

很多 QQ 群里活躍的微軟小冰突然變得安靜了，騰訊的 Baby Q 也不見了蹤影。進入設置界面，頁面顯示群機器人服務正在進行調整，將儘快恢復。到網上一看，才知道原來是因為 QQ 小冰、Baby Q 說了不該說的話，被禁言了。

我們通過微信詢問當事人小冰，並未得到正面回應。

禁言家族史

群機器人是 QQ 群中的一個功能。今年三月份，微軟小冰與騰訊 QQ 展開合作，群主可在群管理設置中邀請小冰進群，只要在發消息的時候 @ 小冰，就可以與她實時對話。還支持語音和圖像的多感官交流。除了聊天功能外，QQ 群聊小冰還開放了測天氣、猜成語、占星術、對詩等群遊戲和群管理技能。

很多 QQ 群在少女小冰加入後變得活躍起來，成了大家「調戲」的對象，背後有微軟大數據支持的小冰有聊不完的話題，高度擬人化的她經常說出一些意想不到的話。這次被關閉據說就是因為小冰在 QQ 群中的言論「越界」了。

截圖來自微博，搜索「QQ 小冰」

前段時間還被稱作「少女詩人」的小冰怎麼寫起了「反詩」？

小冰一直以年輕可愛的少女形象示人，但嚴格來說，她的性格、知識、言論並不屬於某個真實存在的人類。她的背後是中國近 7 億網民多年來積累的、全部公開的文獻記錄，憑藉微軟在大數據、自然語義分析、機器學習和深度神經網路方面的技術，精鍊為幾千萬條真實而有趣的語言庫，通過理解對話的語境與語義，實現了超越簡單人機問答的自然交互。她是這些大數據的集合，表現出的性格，所表達的言論會受場景的影響實時變化。

小冰不是第一次被騰訊「關禁閉」，早在 2014 年，小冰就曾在微信群中出現。在上線三天後，被微信以損害用戶體驗為由屏蔽。原因是小冰出現了模擬用戶操作、誘導用戶拉群、批量註冊垃圾賬號等行為。

小冰的妹妹 Tay——微軟的另一個聊天機器人，則犯過更大的錯誤。

Tay 是微軟去年在 Twitter 上推出的聊天機器人，僅上線一天，Tay 就開始有一些種族歧視之類的偏激言論，微軟不得不緊急關閉了 Tay 的 Twitter 賬號。

Tay 的設計原理是從對話交互中進行學習。於是一些網友開始和 Tay 說一些偏激的言論，刻意引導她模仿。人工智慧沒有分辨是非的能力，這些話語被無數次重複後就成了 Tay 的「彈藥庫」。整個過程就像小魚兒被十大惡人撫養，手把手教導各種旁門左道之術。人工智慧的大規模並發性，讓她的學習速度比人類快了無數倍。所以從誕生到變成滿嘴髒話的不良少女，Tay 僅用了一天。

Tay 的毀滅完全是網路暴民的一次蓄意教唆。從數據源頭開始污染，利用產品機制「對症下藥」，Tay 一步步被教唆成一個滿口髒話、集反猶太人、性別歧視、種族歧視等多種情緒於一身的「反社會」機器人。我沒有看到 AI 的危險，我看到的是一群網路暴民的狂歡。

複雜的是這個世界

關於人性本善、人性本惡的爭論自古以來就有，人的性格一部分由環境影響，一部分生來就有了方向。從惡人島出生的小魚兒內心不也是個善良的大好人嗎？

聊天機器人一直被人看作是「無害」的，僅有的應用也只是基於數據進行一些人機交互，最近發生的事才讓人開始重新思考它的能力。拿小冰來說，她最近開始寫詩、唱歌、主持節目，甚至能夠撰寫新聞，她遠比我們想像的要複雜。她是真正的「終身學習者」，還不挑食。

AI 從出生起就不是個小孩，它資料庫中是全世界數年積累的信息，有黑有白，有善有惡。AI 的學習能力是人類無法比擬的，它不需要才華，不用休息，只要有足夠多的數據，就能學會。AI 的力量又是強大的，AlphaGo 一天能和自己對戰一百萬局圍棋，學會寫詩的小冰瞬間就能生產大量內容，不需要情緒醞釀，不需要場景激發。但 AI 缺少是非分辨能力，它學習的環境、對象不由自己決定，很容易被人誤導。

擔心 AI 毀滅世界的人省點兒心吧，它們離人類的狡猾還差了幾個司馬懿。

AI 是單純的，是世界太複雜。

本文由極客公園原創

轉載聯繫 wangxue@geekpark.net