前邊有兩篇ELK的文章分別介紹了MySQL慢日誌收集和Nginx訪問日誌收集，那麼各種不同類型應用程序的日誌該如何方便的進行收集呢？且看本文我們是如何高效處理這個問題的

日誌規範

規範的日誌存放路徑和輸出格式將為我們後續的收集和分析帶來極大的方便，無需考慮各種不同路徑、格式的兼容問題，只需要針對固定幾類日誌做適配就可以了，具體的規範如下：

日誌存放路徑規範

1. 項目日誌只能輸出到固定的位置，例如/data/logs/目錄下
2. 同一類型（例如java web）的日誌文件名保持統一，例如都叫application.log
3. 一個類型的項目可以記錄多個不同的日誌文件，例如exception.log和business.log

日誌輸出格式規範

1. 日誌輸出必須為JSON格式，這個很重要
2. 同一類型的項目應採用統一的日誌輸出標準，盡量將日誌輸出模塊化，所有項目引用同一模塊
3. 輸出日誌中必須包含標準時間（timestamp）、應用名稱（appname）、級別（level）欄位，日誌內容記錄清晰易懂

日誌信息級別規範

日誌級別說明數值debug調試日誌，日誌信息量最多7info一般信息日誌，最常用的級別6notice最具有重要性的普通條件信息5warning警告級別4error錯誤級別，某個功能不能正常工作3critical嚴重級別，整個系統不能正常工作2alert需要立刻修改的日誌1emerg內核崩潰等嚴重信息0

從上到下級別依次從低到高，日誌量從多到少，正確選擇日誌級別幫助後期快速排查問題

我們為什麼要制定這樣的規範？

1. 我們的項目都跑在Docker里，Docker鏡像由基礎鏡像+項目代碼組成
2. 基礎鏡像打包了運行項目的基礎環境，例如spring cloud微服務項目，則打包了jre服務
3. 規範了日誌存放及輸出後，我們可以把作為日誌收集agent的filebeat一併打包進基礎鏡像，因為同一類型項目的日誌路徑、格式都是一致的，filebeat配置文件可以通用
4. 這樣我們在後續的部署過程中就不需要關心日誌相關的內容，只要項目鏡像引用了這個基礎鏡像就能自動接入了我們的日誌服務，實現日誌的收集、處理、存儲與展示

日誌採集

我們通用日誌採集方案如下圖：

1. 程序跑在容器里，容器內自帶Filebeat程序收集日誌
2. 收集完成後傳給kafka集群，logstash讀取kafka集群數據寫入elasticsearch集群
3. kibana讀取elasticsearch集群數據展示在web上，開發、運維等需要查看日誌的用戶登錄kibana查看

Client端Filebeat配置

filebeat.prospectors:
- input_type: log
paths:
- /home/logs/app/business.log
- /home/logs/app/exception.log
json.message_key: log
json.keys_under_root: true
output.kafka:
hosts: ["10.82.9.202:9092","10.82.9.203:9092","10.82.9.204:9092"]
topic: filebeat_docker_java

Kafka接收到的數據格式

{"@timestamp":"2018-09-05T13:17:46.051Z","appname":"app01","beat":{"hostname":"52fc9bef4575","name":"52fc9bef4575","version":"5.4.0"},"classname":"com.domain.pay.service.ApiService","date":"2018-09-05 21:17:45.953+0800","filename":"ApiService.java","hostname":"172.17.0.2","level":"INFO","linenumber":285,"message":"param[{"email":"TEST@163.COM","claimeeIP":"123.191.2.75","AccountName":""}]","source":"/home/logs/business.log","thread":"Thread-11","timestamp":1536153465953,"type":"log"}

Server端Logstash配置

input {
kafka {
bootstrap_servers => "10.82.9.202:9092,10.82.9.203:9092,10.82.9.204:9092"
topics => ["filebeat_docker_java"]
}
}
filter {
json {
source => "message"
}
date {
match => ["timestamp","UNIX_MS"]
target => "@timestamp"
}
}
output {
elasticsearch {
hosts => ["10.82.9.205", "10.82.9.206", "10.82.9.207"]
index => "filebeat-docker-java-%{+YYYY.MM.dd}"
}
}

都是基礎配置很簡單，不做過多解釋，通過以上簡單的配置就能實現任何應用程序的日誌收集

日誌展示

收集日誌到elasticsearch之後，就可以通過kibana配置展示應用程序的日誌了，方便開發及時發現問題，在線定位問題

寫在最後

1. 通用的基礎與前提是規範，規範做好了事半功倍
2. 日誌列印Json格式不方便本地查看？這個可以把日誌輸出格式當做配置寫在配置文件中，不同環境載入不同配置，就跟開發環境載入開發資料庫一樣
3. 日誌系統上線到現在穩定運行接近2年，除了剛開始有點不適應以為，都是越用越好用，現在他們已經離不開ELK日誌系統了，大大提高了工作的效率

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！