15億參數模型新進展！OpenAI公布7.74億參數模型

智東西（公眾號：zhidxcom）編 | 年年

導語：在公布1.17億參數、3.45億參數縮減版GPT-2模型之後，今天，OpenAI公布了7.74億參數GPT-2模型。

智東西8月21日消息，據外媒報道，OpenAI今天公布了包含7.74億個參數的GPT-2模型，同時還分享了一項開源法律協議，以幫助創建大型AI模型的公司建立自己的模型共享協議。

GPT-2是OpenAI於今年2月份發布的一款先進的會話式AI模型，也是當時規模最大的會話式AI模型，總計包含約15億個參數，當時發布了包含1.17億參數的GPT-2模型縮減版本。

OpenAI發布GPT-2模型一直比較克制，採用分階段發布和基於夥伴關係的共享兩種發布機制，據其解釋主要原因是GPT-2模型生成的內容過於真實以至於容易被濫用。

一、7.74億參數GPT-2模型公布

OpenAI今天推出了包含7.74億個參數的GPT-2新版本，這是一款先進的會話式AI模型，在2月發布之後就引發了熱烈討論，其曾在2月和5月分別發布了包含1.17億參數和3.45億參數的較小規模縮減模型。

OpenAI今天還分享了一項開源法律協議，以幫助創建大型AI模型的公司建立自己的模型共享協議。儘管OpenAI表示已經與5家自2月份以來一直在研究該模型的組織進行了討論，但尚未公布大約15億個參數的完整GPT-2模型。

今天，OpenAI研究人員和哈佛大學研究助理Ariel Herbert-Voss在白皮書中詳細介紹了OpenAI的GPT-2方法及其分階段發布思路。

白皮書寫到：「隨著模型規模尺寸的增加，跨維度的性能例如生成連貫文本的可靠性趨於改善，我們決定不同時發布所有四個GPT-2模型，因為擔心更大的模型被誤用。通過交錯的發布，我們可以留出時間進行風險分析，並使用較小模型的結果來判斷較大模型需要採取的措施。」

由於擔心被惡意行動者濫用和潛在的DeepFakes自動化威脅，當GPT-2在2月份首次亮相時，OpenAI選擇不共享該模型的所有四個版本，GPT-2完整版共使用40GB的互聯網文本進行了培訓。

最初批評OpenAI分階段發布方法的人士表示，不完整發布源代碼對缺乏複製模型或其結果資源的科學家提出了無謂的難題，也有人認為這是OpenAI的宣傳噱頭。

左為馬斯克，右為阿爾特曼

OpenAI是2015年由埃隆馬斯克馬聯合YC總裁阿爾特曼等一眾矽谷大佬發起成立的人工智慧非營利組織，於2019年3月轉變為商業組織，並在2019年7月獲微軟10億美元投資。

二、GPT-2生成文本可靠性達70%

為了使錯誤信息傳播的風險低於發布GPT-2時所預計的那樣，OpenAI與安全專家合作，監控人們使用GPT-2，並對「自動檢測、偏見和濫用潛力進行研究」。

為了繼續探索濫用的可能性以及如何安全地發布GPT-2等大型模型，OpenAI與俄勒岡大學、德克薩斯大學、奧斯汀分校、米德爾伯里國際研究所和康奈爾大學建立了合作關係。

相反，本文中引用的GPT-2的潛在正面使用案例包括幫助作者完成工作、幫助軟體工程師自動化編寫代碼、更好的聊天機器人以及回答有關健康的問題。

康奈爾大學本月早些時候在「外交事務（Foreign Affairs）」上發表的分析文章發現，超過70％閱讀GPT-2所生成文本的人認為這完全可以作為紐約時報的一篇文章，文章可信度極高。

本文引用了艾倫AI研究所（Allen Institute for Hunging Face NLP）提出的一種交錯發布方法，作為未來大型語言理解模型發布的可能途徑。

「我們認為，分階段發布和基於合作夥伴關係的模式共享相結合可能是AI模型發布的關鍵基礎，特別是在強大的生成模型背景下，」研究人員在一篇博文中說道。

「隨著時間的推移，大型模型固有的問題將會增長，而不是減少。我們希望GPT-2的工作將有助於為AI社區在考慮AI研究某些部分固有的發布挑戰時提供可以借鑒的案例。」

結語：分階段發布AI模型防止濫用

OpenAI在2019年2月發布GPT-2之後，分別於2月、5月和8月發布了包含1.17億參數、3.45億參數和7.74億參數的GPT-2模型縮減版，對於分階段發布OpenAI給出的理由是GPT-2模型生成的文本內容過於真實容易被濫用

OpenAI分階段發布GPT-2模型受到了廣泛的批評，尤其是相關領域從業者，因為分階段發布為他們使用該模型帶來了困擾，不過這並沒有影響到GPT-2的分階段發布計劃。

雖然在英特爾推出包含83億參數的MegatronLM之後，GPT-2不再是最大的會話式AI模型，但是其本身的意義還是非常重要，在公布完本次的7.74億參數GPT-2模型縮減版之後，下一步可能就要公布完整15億參數版本。

文章來源：Venture Beat

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！