人工智慧–長短時記憶神經網路

人工智慧之長短時記憶神經網路（LSTM）

前言：人工智慧機器學習有關演算法內容，請參見公眾號「科技優化生活」之前相關文章。人工智慧之機器學習主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點探討一下長短時記憶神經網路（LSTM）演算法。^_^

通過上一篇文章[人工智慧之循環神經網路(RNN)]介紹，我們知道，RNN是一類功能強大的人工神經網路演算法，RNN一個重要的優點在於，其能夠在輸入和輸出序列之間的映射過程中利用上下文相關信息。但是RNN存在著梯度消失或梯度爆炸等問題。因此，為了解決上述問題，長短時記憶神經網路（LSTM）誕生了。

長短期記憶神經網路LSTM是一種特殊的RNN，能夠學習長期依賴關係。由Hochreiter和Schmidhuber（1997）提出，在後期工作中又由許多人進行了調整和普及（除了原始作者之外，許多人為現代LSTM做出了貢獻，不完全統計：Felix Gers(目前在谷歌的DeepMind任職)，Fred Cummins，Santiago Fernandez，Felix Gers（發明了LSTM遺忘門），Justin Bayer（自動演化），Daan Wierstra，Julian Togelius，Faustian Gomez，Matteo Gagliolo和Alex Graves）。LSTM在大量問題上效果異常出色，現在正在廣泛使用。

LTSM概念:

長短時記憶神經網路LSTM(Long Short–Term Memory)是一種時間遞歸神經網路，適合於處理和預測時間序列中間隔和延遲相對較長的重要事件。

與其說長短時記憶神經網路LSTM是一種循環神經網路，倒不如說是一個加強版的組件被放在了循環神經網路中。具體地說，就是把循環神經網路中隱含層的小圓圈換成長短時記憶的模塊，如下圖所示。

LTSM本質:

LSTM引入自循環的巧妙構思，以產生梯度長時間持續流動的路徑是初始LSTM模型的核心貢獻。其中一個關鍵擴展是使自循環的權重視上下文而定，而不是固定的。門控此自循環（由另一個隱藏單元控制）的權重，累積的時間尺度可以動態地改變。

LSTM循環網路除了外部的RNN循環外，還具有內部的LSTM細胞循環（自環）。

LSTM通過刻意的設計來避免長期依賴問題。記住長期的信息在實踐中是LSTM的默認行為，而非需要付出很大代價才能獲得的能力。

LSTM原理:

LSTM區別於RNN的地方，主要就在於它在演算法中加入了一個判斷信息有用與否的「處理器」，這個處理器作用的結構被稱為cell。

一個cell當中被放置了三扇門，分別叫做輸入門、遺忘門和輸出門。一個信息進入LSTM的網路當中，可以根據規則來判斷是否有用。只有符合演算法認證的信息才會留下，不符的信息則通過遺忘門被遺忘。

說起來無非就是一進二出的工作原理，卻可以在反覆運算下解決神經網路中長期存在的大問題。目前已經證明，LSTM是解決長序依賴問題的有效技術，並且這種技術的普適性非常高，導致帶來的可能性變化非常多。各研究者根據LSTM紛紛提出了自己的變數版本，這就讓LSTM可以處理千變萬化的垂直問題。

LSTM深度剖析:

LSTM有通過精心設計的稱作為「門」的結構來去除或者增加信息到細胞狀態的能力。門是一種讓信息選擇式通過的方法。其包含一個sigmoid神經網路層和一個pointwise乘法操作。

Sigmoid層輸出到1之間的數值，描述每個部分有多少量可以通過。代表「不許任何量通過」，1就指「允許任意量通過」！

LSTM擁有三個門（輸入門，遺忘門，輸出門），來保護和控制細胞狀態。

標準LSTM:

1）決定丟棄信息：

2）確定更新的信息:

3）更新細胞狀態：

4）輸出信息:

LSTM的變體:

1）peephole連接：

2）coupled忘記門和輸入門：

3) GRU(Gated Recurrent Unit)：

LSTM應用場景：

LSTM已經在科技領域有了多種應用。基於LSTM的系統可以學習翻譯語言、控制機器人、圖像分析、文檔摘要、語音識別、圖像識別、手寫識別、控制聊天機器人、預測疾病、點擊率和股票、合成音樂等任務。

2015年谷歌通過基於CTC訓練的LSTM程序大幅提升了安卓手機和其他設備中語音識別的能力。百度也使用了CTC；蘋果的iPhone在QucikType和 Siri 中使用了LSTM；微軟不僅將LSTM 用於語音識別，還將這一技術用於虛擬對話形象生成和編寫程序代碼等。亞馬遜 Alexa 通過雙向LSTM在家中與用戶交流，而谷歌使用 LSTM 的範圍更加廣泛，它可以生成圖像字幕，自動回複電子郵件，它包含在新的智能助手Allo中，也顯著地提高了谷歌翻譯的質量。目前，谷歌數據中心的很大一部分計算資源現在都在執行 LSTM 任務。

結語:

長短期記憶網路LSTM是一種時間遞歸神經網路，適合於處理和預測時間序列中間隔和延遲相對較長的重要事件。LSTM是使用RNN的一個飛躍。LSTM演算法在人工智慧之機器學習、翻譯語言、控制機器人、圖像分析、文檔摘要、語音識別、圖像識別、手寫識別、控制聊天機器人、預測疾病、點擊率和股票、合成音樂等領域有著廣泛應用。

------以往文章推薦------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！