開發者自述：我是如何理解決策樹的

雷鋒網按：本文作者夏洪進，原載於作者個人博客，雷鋒網已獲授權。

前言：

最近學習了一段時間的決策樹演算法，但是感覺並沒有達到自己預期的想法，所以這幾天參考了一些決策樹方面的資料，來將自己的學習的過程的筆記記錄在這裡，來加深理解和請教別人指出錯誤。

決策樹的原理：

決策樹又叫做decision tree，這個是一種比較簡單但是又得到廣泛應用的分類器的一種形式。我們一般都是通過訓練的數據來搭建起決策樹的模型。通過這個模型，我們可以高效的對於未知的數據進行歸納分類，類似於我們的聚類演算法。

應用決策樹有如下幾個優點：

1：決策樹的模型的可讀性比較好，具有很強的可以描述性，有利於以後高效率的人工分析

2：效率高，決策樹只需要以此構建，就可以達到反覆使用的效果，每一次的預測的最大計算次數只要不超過決策樹的深度即可。

3：決策樹來如何預測：

現在我們以Data Analysis中的經典案例來進行分析：

從上邊的表述中的相關信息，我們可以通過記錄以前的用戶的一些相關的特性，比如記錄這個用戶是否可以償還債務，是否擁有房產，是否結過婚，年收入等，來構建我們所需要的決策樹。

上表根據歷史數據，記錄已有的用戶是否可以償還債務，以及相關的信息。通過該數據，構建的決策樹如下：

現在假設新來了一個用戶：沒有房產，單身狗，年收入5萬，那麼根據上面的決策樹，可以預測他無法償還債務（藍色虛線路徑）。從上面的決策樹，還可以知道看出來是否擁有房產可以很大的決定用戶是否可以償還債務，對借貸業務具有指導意義。

基本步驟現在我們開始學習如何構造決策樹

決策樹構建的基本步驟如下：

1. 開始，把所有記錄看作一個節點

2. 遍歷每個變數的每一種分割方式，找到最好的分割點

3. 分割成兩個節點N1和N2

4. 對N1和N2分別繼續執行2-3步，直到每個節點足夠「純」為止

決策樹的變數可以有兩種：

1）數字型（Numeric）：變數類型是整數或浮點數，如前面例子中的「年收入」。用「>=」，「>」,「

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！