機器學習之線性回歸

1.線性回歸分析

線性回歸分析（Regression Analysis）：其數據集是給定一個函數和他的一些坐標點，然後通過回歸分析的演算法，來估計原函數的模型，求得最符合這些數據集的函數解析式。然後我們就可以用來預估未知數據，輸入一個自變數便會根據這個模型解析式輸出因變數，這些自變數就是特徵向量，因變數即為標籤，而且標籤的值是建立在連續範圍內的。

通俗來講就是我們在做數學題的時候，解未知數的方法。假如給定自變數和函數，通過函數處理自變數，然後獲得函數的解。而回歸分析便是相當於給定自變數和函數的解，然後去求函數。如下圖所示，我們已經知道紅色點坐標，然後回歸得到直線，回歸分析屬於監督學習。

上圖只是簡單的一元線性分析，回歸後我們可以得到如

f(x)=a?x+b

的函數表達式，但更多情況下我們是求解多元線性回歸問題，那應該如何解決呢。

2.模型表達

3.梯度下降演算法

3.1梯度下降演算法簡述

實際生活中我們有時也利用梯度下降演算法，比如我們處在一座山的某處位置，但我們並不知道如何下山，於是決定走一步算一步，但每次都沿著最陡峭的地點下山，也就是沿著梯度的負方向前進。但有事也會遇見問題，不能每次都能到達山腳，可能到達山峰的某個局部最低點。

從上面解釋可以看出，梯度下降不一定能夠找到全局最優解，有可能是局部最優解，但此種方法已能幫助我們求解線性回歸問題。另外如果求解的函數是凸函數，梯度下降法得到得解一定是全局最優解。

3.2 梯度下降演算法相關概念

3.3梯度下降演算法過程

4.線性回歸演算法實現

為研究公司盈利提升幅度受電視、廣播、報紙的投入的影響程度，利用多元線性回歸來分析數據。其中數據下載地址為http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv ，為能夠繪製出三維圖片，此處只選擇電視、廣播的廣告投入對公司盈利提升幅度的影響。

圖片

其中紅色為數據點，藍色線便為我們回歸之後的曲線，這裡我們是利用sklearn進行線性回歸分析，後續會寫出sklearn教程。如有錯誤之處還請指正，謝謝。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！