Pivotal Greenplum 5.9 特性簡介

Pivotal Greenplum 5.9 於2018年6月20日正式發布，讓我們通過這篇文章帶你走進5.9的新特性。

Greenplum 5.9介紹

Pivotal的Greenplum是基於MPP架構的資料庫產品，它可以滿足下一代大數據倉庫和大規模的分析任務的需求。通過自動對數據進行分區以及多節點並行執行查詢等方式，它使一個包含上百節點的資料庫集群運行起來就像單機版本的傳統資料庫一樣簡單可靠，同時提供了幾十倍甚至上百倍的性能提升。除了傳統的SQL，Greenplum還支持MapReduce，文本索引，存儲過程等很多分析工具，所支持的數據量可以從上百GB到幾百TB。

Greenplum 5.9.0可以從這裡下載（https://network.pivotal.io/），文檔在這裡（https://gpdb.docs.pivotal.io/590/main/index.html），主頁在這裡（http://greenplum.org/），源代碼在github（https://github.com/greenplum-db/gpdb）。

新特性支持

gpcopy：Greenplum集群間的高速數據遷移工具

5.9中包含了新的Greenplum數據遷移工具，可以用gpcopy完成以下任務：

通過--full進行全量備份，包括表，索引，視圖，用戶，資源隊列等

複製指定的表或資料庫到目標資料庫

通過--schema-only 只複製元數據

gpcopy更多的信息可以參考它的文檔（https://gpdb.docs.pivotal.io/590/utility_guide/admin_utilities/gpcopy.html）

備份恢復功能的增強

Gprestore可以通過不同的參數恢復如下資料庫對象：

--metadata-only：只從備份中恢復元數據，表和視圖不做恢復

--data-only：只從備份中恢複數據，表需要事先創建好；gprestore不再執行創建表的工作

--jobs：定義同時運行的任務的數目，增加這個參數的大小可以提高備份和恢復的速度

通過gpbackup和gprestore的--include-table 和--include-table-file 參數，可以同時備份視圖和序列。

gpbackup和gprestore的文檔可以參考這裡：

gpbackup：https://gpdb.docs.pivotal.io/590/utility_guide/admin_utilities/gpbackup.html

gprestore

https://gpdb.docs.pivotal.io/590/utility_guide/admin_utilities/gprestore.html

Pl/Container資源管理功能增強

在5.9中，可以通過設置的方式，以用戶為單位進行CPU資源的控制。老版本中只能以模塊級別控制CPU使用。

為資源隊列預留CPU資源

Greenplum 5.9中可以通過資源隊列預留CPU資源，可以保證將CPU留給特定的查詢來保證其查詢速度。

試驗特性

Pivotal Greenplum是基於開源的greenplum-db（https://github.com/greenplum-db/gpdb）發布的，它包含了正在開發中的很多激動人心的功能，任何針對這些功能的反饋都會推進我們改進相關功能，並在將來的版本中正式支持。Greenplum 5.9.0中有如下實驗功能：

gpbackup和gprestore支持存儲插件

DD Boost 存儲插件：通過--plugin-config 參數可以指定將數據備份到Dell EMC Data Domain 存儲方案上，或者從其上面恢複數據

S3存儲插件：通過--plugin-config 參數可以指定將數據備份到Amazon的S3存儲方案上，或者從其上面恢複數據

存儲框架API：合作夥伴，用戶和開源社區可以根據API 來支持自己的備份和恢復方案.

更多的信息可以參考文檔 Using gpbackup Storage Plugins（https://gpdb.docs.pivotal.io/590/admin_guide/managing/backup-plugins.html ）以及Backup/Restore Storage Plugin API（https://gpdb.docs.pivotal.io/590/admin_guide/managing/backup-plugin-api.html）。

Pivotal的Greenplum-Informatica Connector

新的 Pivotal Greenplum-Informatica Connector提供了穩定高速的Greenplum到Informatica的連接介面，支持Informatica Powercenter和Informatica Cloud等數據管理產品。詳細信息可以參考文檔 Pivotal Greenplum-Informatica Connector (Experimental) Documentation（https://greenplum-informatica.docs.pivotal.io/100/index.html）。

Recursive CTE

CTE（Common Table Expressin）定義了一個可以在同一個查詢里重複使用的臨時表，可以大大簡化SQL語句。Greenplum 5.1.0中CTE定義支持了recursive關鍵字，從而允許在CTE定義時可以遞歸的引用自己。

SUSE平台上基於Resource group的資源管理

由於內核版本限制，SUSE11上的cgroup無法提供Resource group運行所依賴的功能，SUSE12解決了啟用cgroup以後引起的Greenplum性能問題。

改變的功能

為了提供性能，當不是執行全量備份或恢復時，gpbackcup不再在最後的報告中列印總的資料庫大小

為了兼容4.3的外部表，gprestore在恢復是會設置gp_ignore_error_table 服務端參數。這個參數允許5.x中兼容老版本的error table語法。關於參數的詳細信息可以參考這裡 gp_ignore_error_table（https://gpdb.docs.pivotal.io/590/ref_guide/config_params/guc-list.html#gp_ignore_error_table）。

改變了備份/恢復工具的存儲插件API，具體信息可以參考這裡實驗特性。

Informatica Connector使用的Greenplum Streaming Server (GPSS) component升級到1.0.2，修復了部分bug，詳細些信息參看文檔 Pivotal Greenplum-Informatica Connector（http://greenplum-informatica.docs.pivotal.io/100/index.html ）。

Greenplum 5.9.0將 PgBouncer 升級到1.8.1. PgBouncer 1.8.1 支持原生 TLS 加密，PAM 支以及 pg_hba.conf 兼容的許可權配置. 詳細信息可以參考文檔Using the PgBouncer Connection Pooler （https://gpdb.docs.pivotal.io/590/admin_guide/access_db/topics/pgbouncer.html）。

Greenplum 5.9支持的GPCC版本升級為4.2，它可以支持查詢計劃的動態實時更新。

移除的功能

資料庫的gp_unix_socket_directory 參數被標記為廢棄，在之後的版本中會被移除

與開源版的比較

商業版的Greenpum除了包含了開源版本的全部功能，此外還有以下增強的功能：

打包安裝及部署腳本

支持了QuickLZ壓縮演算法

圖形界面的管理工具，Greenplum Commander Center

內置的監控工具，Workload Manager

基於SQL的文本檢索引擎，GPText

Spark Connector 和 Gemfire Connector

DataDirect的ODBC和JDBC驅動

Pivotal的Greenplum暫不支持如下的社區模塊

The PXF JDBC connector.

The PXF Apache Ignite connector.

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！