Facebook開源強化學習工具包Horizon

Facebook開源了人工智慧軟體另一個重要的組成部分，旨在幫助開發者在其軟體應用中構建「強化學習模型」。

從今天開始，開發者可以使用Facebook的Horizon軟體工具包來構建可以通過反覆試驗和試錯以學習執行特定計算任務的應用。

Facebook此前一直使用Horizon來執行很多任務，包括訓練其系統以預測用戶最有可能對哪些通知做出響應。例如，Horizon幫助Facebook了解某個用戶更有對於他母親的點贊做出回應，而不是在同一個帖子上互動的其他幾十個人。因此，就會突出顯示「媽媽」之類的內容，以便讓用戶做出反應。

Horizon還用於支持Facebook Messenger應用中的虛擬助理M為用戶提供個性化建議。

強化學習是AI的一個子集，涉及到使用模擬環境來訓練計算機程序執行特定任務。例如，Facebook還使用強化學習來決定向用戶傳輸高清還是非高清的視頻，具體取決於蜂窩連接強度甚至是位置等因素。因此，如果特定用戶在地鐵上信號較弱時，它可能就會發送佔用帶寬較低的視頻。

Facebook並不是唯一一家使用強化學習的公司。作為Facebook在人工智慧領域的主要競爭對手之一，Google也在使用強化學習技術來訓練計算機玩中國圍棋遊戲，而無需人工輸入。Google的AlphaGo後來在五場系列比賽中擊敗了現圍棋世界冠軍李世石。

Facebook工程師Jason Gauci、Edoardo Conti和Kittipat Virochsiri在一篇博客文章中解釋說，通過強化學習，計算機可以根據其行為的結果獲得獎勵或懲罰。因此，就Facebook向用戶發送通知這件事來說，每當發送給用戶的通知得到了響應的時候，工程師都給予系統獎勵。

但是，當通知未能引起用戶響應的時候，系統會受到懲罰。隨著時間的推移，系統 來說都是一項艱巨的任務，Constellation Research首席分析師兼副總裁Holger Mueller這樣表示。他認為，此舉將有助於推動採用和獲得更多的關注，不過仍然存在很多挑戰，因為Horizon是運行在Facebook的PyTorch機器學習框架上，而該框架正在努力跟上谷歌更受歡迎的TensorFlow的發展步伐。

Mueller說：「而且由於該平台沒有這些專用的、特有的硬體，所以也引發了有關實施成本和總體擁有成本的問題。企業必須快速構建應用，因此他們傾向於選擇集成的產品。儘管如此，這仍然是一個很好的舉措，Facebook可以從PyTorch平台中實現更多用途、價值和差異化。」

Facebook稱，Horizon是首個公開可用的強化學習軟體，目前用戶已經可以通過GitHub進行下載。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！