HBase常見運維工具整理
HBase自帶許多運維工具，為用戶提供管理、分析、修復和調試功能，這些工具一部分的入口是hbase shell 客戶端，另一部分是在hbase的Jar包中。
大多數可通過執行以下形式的命令實現：
本文將列舉一些常用HBase工具，開發人員和運維人員可以參考本文內容，利用這些工具對HBase進行日常管理和運維。
Canary
HBase Canary 是檢測HBase 系統狀態的工具，檢測粒度可以是列族、Region或RegionServer等。Canary 會對指定表的每一個Region 抓取一行，通過探測失敗或者延遲來判斷集群當前情況。
該工具有三個常見使用場景：
檢查集群中所有Region是否可查：
-t ：該選項用於指定檢測超時，默認為600000 (milisecs)
檢查集群中某些特定表的所有Region是否可查：
檢查RegionServer的服務狀態：
hbck工具
hbck工具用於檢查HBase集群一致性。命令為：
這條命令輸出的末尾，會列印出 OK 或者 INCONSISTENCY 信息。若返回OK，說明保持一致。如果報出INCONSISTENCY，說明處於不一致狀態，需要解決問題，此時可通過 -details 來查看更多細節。
注意，當出現INCONSISTENCY時，可以重複執行 hbck 工具若干次以確認。因為INCONSISTENCY可能只是暫時的，例如集群正在啟動或者某個Region正在被拆分時會報INCONSISTENCY ，但不意味著穩定時也不一致。
HFile查看工具
選項-v表示查看詳細內容，如果去掉則只返回簡化過的摘要內容。
CopyTable
CopyTable 可以用來拷貝部分或者全部的表的內容，無論表是在同一集群或是不同集群。待操作的表必須存在，才能執行 CopyTable 操作。用法如下：
其中
Import
Import 工具用來將之前被 Export 的數據載入HBase中。命令如下：
例如，用import將集群master24的HDFS中的表member5導入至HBase，實現命令如下：
ImportTsv
ImportTsv 工具的作用是把數據以TSV格式載入到HBase中。
它有以下兩個典型的用途：
通過 Puts 操作將數據從HDFS中的TSV格式載入到HBase中。
第二種用途是和completebulkload 配合使用，為要載入的StoreFiles做準備。
其中各選項的含義如下：
CompleteBulkload
completebulkload 工具會將產生的StoreFiles移動到HBase表中。這個工具通常與 ImportTsv 的輸出配合使用。
通常表示經過ImportTsv 載入到HDFS上的StoreFiles的路徑。
RowCounter和CellCounter
RowCounter 是用來計算錶行數的MapReduce工程。通常，當用戶對元數據的一致性有疑問時，RowCounter 可以作為一個比較實用的工具來全面檢查HBase是否讀取了表的所有block。它可以通過 --starttime=[starttime] 和 --endtime=[endtime] 標籤來限定數據的時間範圍。
HBase還有另一個具有診斷作用的MapReduce工程，叫做 CellCounter 。它和 RowCounter 類似，但會收集和表相關的更細節的統計數據，包括：表的行數、所有行的列族數、所有行的qualifier數、每個列族出現的次數、每個qualifier出現的次數、每個qualifier的版本總數。
該工具也可以通過 --starttime=[starttime] 和 --endtime=[endtime] 來限定掃描表的時間範圍，還可以用行的正則表達式或前綴來限定待分析的行。
hbase clean 工具
hbase clean 命令是用於清除ZooKeeper或HDFS上的HBase相關數據的工具。它適合用於測試或者剷除HBase集群時對ZooKeeper或HDFS的清理。
cleanZk：清除Zookeeper上的HBase數據。
cleanHdfs：清除HDFS上的HBase數據。
cleanAll：清除Zookeeper和HDFS上的HBase數據。
更多工具
本文介紹的都是HBase自帶的常用運維工具，多用於狀態檢查和數據遷移。除此之外，還有一些HBase工具實現了更高級易用的功能，例如分散式存儲運維工具DSTools，用於修復常見異常情況；Bulkload工具，用於批量的向HBase導入大量數據；以及雅虎開源的通用的更靈活的性能測試工具ycsb等。之後我們還會對這些更多的工具進行整理，與大家一起分享。
TAG:星環科技 |