本文主要闡述大數據平台環境zookeeper常見異常和解決方案

1.Connection reset by peer異常

• 異常說明

我們現在項目有個任務OneMinuteDataSync是用spark將實時數據同步插入到hbase中，程序已經穩定運行很長一段時間，不過最近數據量增加比較多，任務運行一段時間後，突然僵死幾個小時後，有恢復正常繼續運行，如下圖，任務正常運行情況下耗時15s左右，但2017-07-11 04:33:00這個批次運行了9486s,而凌晨數據量很少的，才13w左右，白天峰值穩定在45w左右。

查看該任務的運行的worker節點的日誌，發現zoookeeper connection reset by peer異常日誌

• 解決方案

首先查詢zookeeper日誌，只發現了Too many connectionn 警告

由於剛開始的時候zookeeper zoo.cfg沒有配置maxClientCnxns參數，而zookeeper默認配置為60，即單個客戶端與單台伺服器之間的連接數的限制，而我們前幾天才升級hbase和zookeeper集群，已經將

maxClientCnxns=300

而對於單台伺服器來說，300個連接我們認為已經足夠使用。我們在30.27.96.14上查看2181埠的連接情況

netstat -anp | grep 2181

netstat -anp | grep 2181 | wc

發現實際上狀態為ESTABLISHED的連接只有不到10個，而狀態為TIME_WAIT的連接有幾百個，而TIME_WAIT狀態實際上是客戶端建立連接，完成任務後正常斷開連接後的狀態，其他狀態解釋如下：

CLOSED：無連接是活動的或正在進行

LISTEN：伺服器在等待進入呼叫

SYN_RECV：一個連接請求已經到達，等待確認

SYN_SENT：應用已經開始，打開一個連接

ESTABLISHED：正常數據傳輸狀態

FIN_WAIT1：應用說它已經完成

FIN_WAIT2：另一邊已同意釋放

ITMED_WAIT：等待所有分組死掉

CLOSING：兩邊同時嘗試關閉

TIME_WAIT：另一邊已初始化一個釋放

LAST_ACK：等待所有分組死掉

更加詳細的內容要去閱讀TCP協議。而我們現在要解決的是連接正常關閉後，儘快減少TIME_WAIT狀態的連接，最後我們通過修改Linux內核參數來減少伺服器的TIME_WAIT套接字數量，步驟如下：

#1.切換到root用戶
su root

#2.更改sysctl.conf配置，增加如下兩行配置
vi /etc/sysctl.conf
net.ipv4.tcp_tw_reuse=1
##表示開啟重用。允許將TIME_WAIT套接字重新用於新的TCP連接。默認為0，表示關閉。

net.ipv4.tcp_tw_recycle=1
##表示開啟TCP連接中TIME_WAIT套接字的快速回收。默認為0，表示關閉

#3.讓配置立即生效
/sbin/sysctl -p

更改spark集群伺服器配置後，目前程序運行正常，後續繼續觀察。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！