超級乾貨：2018數據科學以及機器學習領域頂級工具的排名與趨勢

2018數據分析、數據科學以及機器學習領域頂級工具的排名與趨勢

Python 侵佔 R，

RapidMiner激增，

SQL相對穩定，

Tensorflow排名上升且拉動了Keras，

Hadoop下降，

數據科學平台開始進入整合階段...

在第19屆KDnuggets軟體年度調查活動中，超過2300名選民參與了投票環節，比2017年少了一些，可能是因為只有一家供應商（RapidMiner）在KDnuggets投票中進行了非常活躍的投票活動。平均而言，參與者大約選擇了7種不同的工具，因此只選擇了一種工具的選票就凸顯出來。 本文排除了大約260個這樣的」單票（lone votes）」（主要來自RapidMiner），因為即使他們可以代表使用該工具的用戶，他們的經歷也非常不典型，並且會導致結果的不一致。為了更好地進行比較，本文還從2016年和2017年的數據中刪除了這些單票（2017年約為11％，2016年為12％）。因此，本文所涉及的多數工具的投票比例將會略高於在2017年報道過的比例。本文已排除了」單票」現象，並根據2052名參與者的數據所進行了初步分析，更詳細的關聯分析和匿名數據分析即將發布。

圖1KDnuggets分析/數據科學領域2018年軟體調查：2018年主要工具排名及其在2016 - 2017年度民意調查中的使用率（share of usage）（註：為了便於對比分析，重新計算了2016年，2017年投票的結果以排除」單票（"lone" votes）」）

表1 排名數據

在表1中，2018 % share 是使用該工具的選民的百分比，% change是與2017年軟體調查相比百分比的變化，綠色和紅色突出顯示10％或更多的變化。每名受訪者的平均工具投票數量為7.0，略高於2017年投票中的6.75（不包括單一工具投票）。與2017年軟體投票相比，出現了一個新的軟體是Keras。 Knime掉出前11名，可能是因為今年他們的用戶沒有參與投票活動。

1

Python侵佔R（Python eats away at R）

截至2017年，Python已經擁有超過50％的使用率，並將其使用率提高到66％，而自從我們的調查完成之後，R的使用率開始下降，並下降到了50％以下。

2

RapidMiner使用率激增

在過去的幾輪調查中，RapidMiner是最重要的數據科學平台，它的使用率從2017年的33％大幅增加到50％左右。這其中哪個部分是由於用戶增長導致的，哪個部分是由於供應商推廣導致的？我問過RapidMiner做了什麼來鼓勵他們的用戶，RapidMiner創始人兼總裁Ingo Mierswa的如是回應：「與許多供應商一樣，RapidMiner通過多種渠道向用戶推廣KDnuggets調查，其中包括向過去12個月內使用過我們產品的用戶發送了幾封電子郵件，之前我們做過同樣的推廣，但今年的情況有所不同。首先，今年我們得到了更好的回應，超過400位用戶親自回復我們的電子郵件，因為我們的幫助，他們感到非常高興，但更重要的是，我們看到過去一年每月活躍的RapidMiner用戶增長了300％ ，所以我們比以前更多地向用戶發送電子郵件，我們很高興有這樣一個忠誠的用戶社區。」需要指出的是，我注意到RapidMiner不是KDnuggets上的當前廣告商。

3

SQL相對穩定

SQL，包括Spark SQL，SQL to Hadoop工具在內，SQL在最近的3次調查中仍然佔有約40％的使用率。 所以，如果你是一位有抱負的數據科學家，學習SQL--它可能會在很長一段時間內很有用。

4

主要趨勢

在調查中，使用率超過2％的唯一新條目是Spark SQL，擁有11.7％的使用率。下表列出了2018年使用率增長20％或以上，並且至少達到3％的工具。

表2 使用率增加最多的數據分析/數據科學/ ML工具

5

數據科學平台開始進入整合階段

我們注意到2017年有56個工具在2017年擁有2％或更高的使用率，但在2018年只有19個工具的（僅約三分之一）使用率有所增加，而有37份工具的使用率下降。 這與最近的收購（Datawatch收購Angoss，Minitab收購Salford）均表明數據科學平台的整合即將展開。

表3 使用率下降幅度最明顯的主要數據分析/數據科學工具

6

深度學習工具

使用深度學習工具的選民比例保持穩定，為33％，2017年為32％，2016年為18％。谷歌Tensorflow是迄今為止最主要的平台，但Keras的出現使其成為了Tensorflow上非常受歡迎的封裝。

深度學習工具排名是：

Tensorflow, 29.9%

Keras, 22.2%

PyTorch, 6.4%

Theano, 4.9%

Other Deep Learning Tools, 4.9%

DeepLearning4J, 3.4%

Microsoft Cognitive Toolkit (Prev. CNTK), 3.0%

Apache MXnet, 1.5%

Caffe, 1.5%

Caffe2, 1.2%

TFLearn, 1.1%

Torch, 1.0%

Lasagne, 0.3%

7

大數據工具：Hadoop Drops

2018年，約33％的人使用Hadoop或Spark等大數據工具 - 與2017年大致相同，但Hadoop使用率顯著下降約30％。

8

編程語言

Python似乎不僅超越了R，還超越了其他大多數語言，除了SQL，Java和C / C ++之外，它們保持在大致相同的水平。自從我們開展這項調查以來，R的排名已經開始下降。其他語言也有所下降，以下是按受歡迎程度排序的主要編程語言。

Python，65.6％（2017年為59.0％），上升11％

R，48.5％（56.6％），下跌14％

SQL，39.6％（39.2％），1％以上

Java，15.1％（15.5％），下跌3％

Unix，shell / awk / gawk，9.2％（10.8％），15％下降

其他編程和數據語言，6.9％（7.6％），-9％下降

C / C ++，6.8％，（7.1％），下跌3％

斯卡拉，5.9％，（8.3％），29％下降

Perl，1.0％（1.9％），下降46％

朱莉婭0.7％（1.2％），下降45％

Lisp，0.3％（為0.4％），下跌25％

Clojure，0.2％（0.3％），-38％下跌

F，＃0.1％（為0.5％），下跌-73％

近3年各地區的參與情況如下：

歐洲：37.5％

美國/加拿大：36.6％

亞洲：11.7％

拉丁美洲：6.6％

非洲/中東：4.5％

澳大利亞/紐西蘭：3.1％

與2017年相比，主要變化是來自歐洲的參與率升高（從35.5％上升），而來自美國/加拿大的參與率則從41.5％下降。

9

調查詳細結果

10

歷屆民調原文

New Leader, Trends, and Surprises in Analytics, Data Science, Machine Learning Software Poll, 2017

R, Python Duel As Top Analytics, Data Science software, 2016

R leads RapidMiner, Python catches up, Big Data tools grow, Spark ignites, 2015

RapidMiner Continues To Lead, 2014

RapidMiner and R vie for first place, 2013

KDnuggets 2012 Poll: Analytics, Data mining, Big Data software used

KDnuggets 2011 Poll: Data Mining/Analytic Tools Used

KDnuggets 2010 Poll: Data Mining / Analytic Tools Used

KDnuggets 2009 Poll: Data Mining Tools Used

KDnuggets 2008 Poll: Data Mining Software Used

KDnuggets 2007 Poll: Data Mining/Analytics Software Tools

備註：1.本文原作者為Gregory Piatetsky，原文標題《Python eats away at R: Top Software for Analytics, Data Science, Machine Learning in 2018: Trends and Analysis》，原文URLhttps://www.kdnuggets.com/2018/05/poll-tools-analytics-data-science-machine-learning-results.html。

2.由王雨晴、朝樂門負責翻譯、校對、編輯和發布。

本文轉自：數據科學DataScience 已獲授權；

END

數據分析、數據產品關聯文章閱讀：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！