深度學習研究的新進展：情緒神經元

表徵學習是現代深度學習系統中最重要的技術之一。通過表徵學習，我們指的是可以以其他模型可以使用的方式學習數據集的基礎知識表示的模型。遷移學習是最受歡迎的代表性學習形式之一，可以在市場上的學習工具包中找到。一般來說，在深度學習系統中可以找到兩種主要的表徵學習技術組。

在大型標記數據集上進行高容量模型的監督式訓練對於最近深度學習技術在諸如圖像分類、語音識別和機器翻譯等廣泛應用中的成功至關重要。無監督表徵學習也有悠久的歷史，其能夠擴展到超出數據的範圍和範圍的能力，而且這些數據可以在資源、隱私或其他約束條件下進行清理和標記。儘管監督表徵學習明顯支配著當前的市場狀態，但研究人員一直夢想著可以學習可重用知識表示的無監督模型。收集數據很容易，但大規模標記數據很困難，而且很多時候，資源都是禁止的。

無監督情緒分析是表徵學習空間中最活躍的研究領域之一。在大量未標記的文本中學習主題、短語和情感是表徵學習技術之一，可以在真實世界的深度學習應用程序中產生直接的積極結果。想像一下，我們可以識別負責情感知識的深層神經網路的特定部分，並且我們可以在其他模型中重複使用該部分。這不是很好嗎？最近，來自OpenAI的研究人員發表了一篇論文，其中他們概述了負責情緒概念的神經網路的特定單元的概念：情感神經元。

情緒神經元的發現有點巧合。最初的OpenAI研究集中於訓練一個長期短期記憶模型，以便能夠預測亞馬遜產品評論文本數據集中的下一個字元。當通過模型正則化過程時，數據科學家發現網路的一個單元對文本的情感具有高度的預測能力。即使模型被訓練用於預測文本中的人物，模型中的情緒神經元也能夠將評論分為負面或正面。

OpenAI研究人員懷疑，情感神經元不是LSTM模型的專有屬性，而是大量深度神經網路的一個共同特徵，它在大量文本數據集上運行。為了證明這一點，OpenAI團隊將情緒神經元應用於Yelp評價數據集，提供了令人鼓舞的結果。

OpenAI情感神經元不是沒有問題，而是在其他背景下的模型鬥爭，但它代表了無監督表徵學習空間中的一個重大突破。情感神經元技術教給我們的是情感可以表達為一種準確、分離、可解釋和可操作的方式。情緒作為調節特徵可能對語言建模具有強大的預測能力。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！