Pivotal Greenplum 5.4特性簡介
Pivotal Greenplum 5.4介紹
Pivotal Greenplum 是基於MPP架構的資料庫產品，它可以滿足下一代數據倉庫對大規模的分析任務的需求。通過自動對數據進行分區以及多節點並行執行查詢等方式，它使一個包含上百節點的資料庫集群運行起來就像單機版本的傳統資料庫一樣簡單可靠，同時提供了幾十倍甚至上百倍的性能提升。除了傳統的SQL，Greenplum 還支持MapReduce，文本索引，存儲過程等很多分析工具，所支持的數據量可以從上百GB到幾百TB。
Greenplum 5.4.1可以從這裡下載（https://network.pivotal.io/），文檔在這裡（https://gpdb.docs.pivotal.io/540/main/index.html），主頁在這裡（https://greenplum.org/），源代碼在github（https://github.com/greenplum-db/gpdb）。
新特性支持
Gpstop工具增強
gpstop增加了--host選項，如果Segment設置了鏡像（mirror），gpstop可以在指定的主機上結束Greenplum資料庫的Segment實例。當Primary節點被終止後，對應Mirror節點上的Segment實例升級為Primary節點。
在下列情況下Segment實例不會被終止：
·沒有Mirror
·Master或者standby master節點也在指定的host上
·Primary和Mirror在同一個host上
PL/Container/Language 擴展
·PL/Container在Redhat/CentOS上升級為正式功能，不再是實驗功能
·優化了plcontainer工具，提高了易用性
·新函數 plcontainer_containers_summary() 可以顯示當前運行的容器信息
·PL/Container 的配置文件格式有改變，新老配置不兼容
·資料庫的GUC參數log_min_messages可以控制PL/Container 的log行為
試驗特性
Pivotal Greenplum是基於開源的greenplum-db發布的，它包含了正在開發中的很多激動人心的功能，任何針對這些功能的反饋都會推進我們改進相關功能，並在將來的版本中正式支持。Greenplum 5.4.0/5.4.1中有如下實驗功能：
gpbackup/gprestore
gpbackup/gprestore工具提供了更好的備份和恢復的性能（相比於gpcrondump和gpdbrestore）。gpbackup在訪問pg_class時只使用了共享鎖（ACCESS SHARE),而不是排他鎖，因此在備份的時候仍可以對其他表運行DDL操作，比如 CREATE, ALTER, DROP, TRUNCATE
gpbackup/gprestore升級到了alpha3版本，它採用單個文件保存資料庫元數據。它的格式與alpha1和alpha2不再兼容
gpbackup支持了 -include-table schema.table 和 -exclude-table schema.table 參數來選擇對哪些表執行備份操作
Recursive CTE
CTE（Common Table Expressin）定義了一個可以在同一個查詢里重複使用的臨時表，可以大大簡化SQL語句。Greenplum 5.1.0中CTE定義支持了recursive關鍵字，從而允許在CTE定義時可以遞歸的引用自己。
SUSE平台上基於Resource group的資源管理
由於內核版本限制，SUSE11上的cgroup無法提供Resource group運行所依賴的功能，SUSE12解決了啟用cgroup以後引起的Greenplum性能問題。
PXF的增強
支持允許PXF向HDFS寫文本和序列化文件
改變的功能
Madlib 1.13更新
Madlib1.13支持Greenplum5.4，在升級到Madlib1.13時，需要注意先刪除knn函數
默認參數調整
參數optimizer_join_arity_for_associativity_commutativity 的默認值增大為18。
這個參數限制在生成查詢計劃時，ORCA嘗試使用的join交換律和結合律變換的數目。當前ORCA會只最多嘗試18中變換組合。當一個查詢有很多的join條件時，降低這個值會大大提高性能；但是這個值過低，會導致ORCA生成的次優的查詢計劃。需要注意的是當 optimizer_join_order 為query或者greedy時，optimizer_join_arity_for_associativity_commutativity是不起作用的。
與開源版的比較
商業版的Greenpum除了包含了開源版本的全部功能，此外還有以下增強的功能：
·打包安裝及部署腳本
·支持了QuickLZ壓縮演算法
·圖形界面的管理工具，Greenplum Commander Center
·內置的監控工具，Workload Manager
·基於SQL的文本檢索引擎，GPText
·Spark Connector 和 Gemfire Connector
·DataDirect的ODBC和JDBC驅動
Greenplum 5.4.0的擴展組件
Client端工具
Greenplum資料庫包括如下擴展組件：
·Fuzzy字元串匹配
·PL/Python
·pgcrypto
擴展模塊
其他擴展
·PXF Extension Framework
Greenplum 5.x中引進新的外部數據框架PXF（Pivotal extention framework），它部署在每個運行Segment的物理機器上，提供了對HDFS文件系統以及HIVE的支持。PXF對外部數據提供了抽象的介面，可以方便的支持各種數據源
·Greenplum-Spark Connector
支持Greenplum與Spark之間的高速並行數據傳輸
·Gemfire-Greenplum Connector
支持Greenplum與Gemfire之間的高速並行數據傳輸
·Pivotal GPText
Pivotal Greenplum Database 5可以支持 GPText version 2.1.3 及以後的版本。GPText是Greenplum提供的文本搜索引擎，可以支持全文檢索及文本分析功能
Greenplum 5.4.0支持的平台
平台支持概述
·Greenplum資料庫只支持XFS文件系統，任何其它文件系統Pivotal都不提供支持
·Greenplum資料庫可運行在配有本地存儲的1U或者2U兼容伺服器上
·Greenplum資料庫支持網路或共享磁碟，共享磁碟需要作為塊設備掛載，並採用XFS的分區方式
·Greenplum資料庫可以運行在虛擬機中，並且支持XFS的虛擬磁碟
·Pivotal只支持10Gbit以上的乙太網卡
·Greenplum資料庫可以運行在AWS上，磁碟需要使用AWs的instance store或者EBS存儲
·RHEL 7.2和7.3中systemd的RemoveIPC=yes選項會導致gpinitsystem失敗
Greenplum的伺服器支持如下平台
·Red Hat Enterprise Linux 64-bit 7.x
·Red Hat Enterprise Linux 64-bit 6.x
·SuSE Linux Enterprise Server 64-bit 11 SP4
·SuSE Linux Enterprise Server 64-bit 12 SP2SP3 （內核版本大於4.4.73-5）
·CentOS 64-bit 7.x
·CentOS 64-bit 6.x
DELL EMC DCA支持
Greenplum 5.4支持DCA3.4及以上版本，DCA只支持企業版的Greenplum，不支持開源版Greenplum。Greenplum 5.0和5.1不支持DCA上的FIPS功能。
Greenplum的java組件依賴java的如下版本
8.xxx
7.xxx
Greenplum運行時需要如下的依賴包
·OpenSSL 1.0.2l (with FIPS 2.0.16)
·cURL 7.54
·OpenLDAP 2.4.44
·Python 2.7.12
Client端工具可以支持如下平台
·Red Hat Enterprise Linux 64-bit 7.x
·Red Hat Enterprise Linux 64-bit 6.x
·CentOS 64-bit 7.x
·CentOS 64-bit 6.x
·AIX 7.2 (64-bit) (Client and Load Tools only)
·SuSE Linux Enterprise Server x86_64 SLES 11
·Windows 10 (32-bit and 64-bit)
·Windows 8 (32-bit and 64-bit)
·Windows Server 2012 (32-bit and 64-bit)
·Windows Server 2012 R2 (32-bit and 64-bit)
·Windows Server 2008 R2 (32-bit and 64-bit)
PXF支持如下Hadoop平台
·Cloudera
·Hortonworks Data Platform
·generic Apache Hadoop distributions
TAG:Pivotal中國研發中心 |