機器學習筆記邏輯斯諦回歸

(一)回歸與分類

回歸問題：用於預測輸入變數X和輸出變數Y之間的關係（即映射函數Y=f(X)），通常用來預測一個值，其值是連續值。其學習過程分為學習和預測兩個過程。學習過程是對已知的訓練數據集選擇一條函數曲線，使得訓練數據集（X，Y）約大多數都滿足Y=f(X)這個映射關係；預測過程是對新輸入的數據X』，使用上面得到的映射關係預測得到Y』。

分類問題：對輸入變數X（可以是連續變數，也可以是離散變數），輸出Y取值有限個離散值（用於標識類別的數學值），通常用於將事物打上一個標籤，通常結果為離散值。其學習過程分為學習和分類兩個過程。學習過程是對已知的訓練數據集選擇一個分類器（在監督學習過程中從數據中學習一個分類模型或分類決策函數稱為分類器，如感知機、決策樹分類模型）；分類過程是對新的輸入進行分類。

本站前面講到的感知機和支持向量機適用於分類問題的處理，決策樹和k近鄰法既適用於分類問題也適用於回歸問題（前文只講解到適用於分類問題的場景）

本文將要講到的邏輯斯諦回歸這類機器學習模型適用於分類問題，雖然名字里有回歸但他不是處理回歸問題，他適用於處理分類問題！這裡只是因為其學習過程使用到了回歸演算法。

總結，簡單來說分類問題輸出的是離散值，回歸問題輸出連續預測值。

(二)邏輯斯諦回歸模型

在某些分類問題的實際應用場景中無法找到絕對的判斷條件進行區別類別，比如典型的醫療領域腫瘤影像分析便不能直接給出是否是腫瘤的判斷，這種情況下需要通過概率來判斷（概率大於某個閾值）。

邏輯斯諦回歸模型是一種採用邏輯斯諦概率分布的數學手段處理上述問題的一種機器學習模型，因此命名為邏輯斯諦回歸模型。

2.1邏輯斯諦分布

設X是連續隨機變數，X服從邏輯斯諦分布是指X具有下列分布函數和密度函數：

分布函數和密度函數曲線如下圖所示：

2.2二項邏輯斯諦回歸

對於輸入變數X，輸出變數Y取值1或0，那麼二項邏輯斯諦回歸模型是下述條件概率分布：

對於給定的輸入實例x,按照上式可求得P(Y=1x)和P(Y=0x)的值，將實例x分到概率值大的那一類。

(三)邏輯斯諦回歸的學習策略

極大似然估計，只是一種概率論在統計學的應用，它是參數估計的方法之一。說的是已知某個隨機樣本滿足某種概率分布，但是其中具體的參數不清楚，參數估計就是通過若干次試驗，觀察其結果，利用結果推出參數的大概值。極大似然估計是建立在這樣的思想上：已知某個參數能使這個樣本出現的概率最大，我們當然不會再去選擇其他小概率的樣本，所以乾脆就把這個參數作為估計的真實值。極大似然估計只是一種粗略的數學期望。求極大似然函數估計值的一般步驟：

（1） 寫出似然函數；

（2） 對似然函數取對數，並整理；

（3） 求導數 ；

（4） 解似然方程 。

因此，邏輯斯諦回歸的策略為：利用求解極大似然原理對模型進行參數估計

1. 假設：

2.似然函數為：

3. 對數似然函數為：

對L(w)求極大值，得到w估計值。因此，問題就變成了以對數似然函數為目標函數的最優化問題。

(四)邏輯斯諦回歸的演算法

通常採用梯度下降法和擬牛頓法進行求解（註：截止目前還未對最優化求解的演算法進行深入剖析，留待後續專題講解）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！