大數據學習指南
HI~ , 很多朋友在第一篇文章發布後,給數據君反饋了2了問題:
問題一:能不能更換一下公號的名稱,太沒意思了。例如:大牛、二狗子…?
回 答:沒有問題。(我最近好好想想…)
問題二:學習大數據,直接學習需要什麼基礎嗎?
回 答:當然要啊,我們在給企業的JAVA工程師人員進行大數據短訓,他們學習起來效果很好,大家去看看Hadoop是拿什麼開發的?對沒錯java!
問題三:好多朋友私信數據君說,如何學習大數據,能不能想學習java一樣去報一個什麼培訓班?
回 答:以下是一個大體的學習思路,大家可以借鑒。
至於報培訓班,這個數據君還真不好說,某大企業的朋友說,通過某些培訓機構招收一批號稱大數據工程師,結果都是對Hadoop略懂… … 結果可想而知,據我的了解目前企業都很缺乏大數據工程師的人才,給出的薪水待遇那是非常的可觀呀,培訓機構應該支付不起這樣人才的工資...
當然我還有個辦法,你可以通過面試等環節入職我們公司,公司內部員工可是有大把的資料庫...
好了,開始今天的大數據之旅,本期為大家提供學習大數據的大綱思路
我們在為軟體企業提供技術支持,主要分為以下四個部分:
一、大數據基礎部分
Linux操作系統的平台熟練使用,當然Shell編程是必須的;能夠基Linux系統平台進行java開發環境的搭建(java技術已經很普及了,JavaSE、JavaEE你要會喲!);redis資料庫必要掌握的技術;差點忘記了,還有一個叫zookeeper的分散式協調服務技術;
二、Hadoop離線計算
Hadoop是一個分散式系統基礎架構,由Apache基金會基於java開發。用戶可以在不了解分散式底層細節的情況下,開發分散式程序。充分利用集群的威力高速運算和存儲。
Hadoop中有2個中位置重要的技術:
Hadoop Distributed File System(Hadoop分散式文件系統)即HDFS和MapReduce;其中MapReduce是Google的一項重要技術,它是一個編程模,用以進行大數據量的計算,MapReduce的名字源於這個模型中的兩項核心操作:Map和Reduce;
Hadoop中附加技術
三、Storm流式計算
首先要搞定的是對消息隊列的理解、Kakfa核心組件、集群部署實戰及常用命令、文件存儲機制分析 ;在該階段最終要能夠完成:Flume+Kafka+Storm+Redis技術的整合。
四、Spark
Scala編程技術、Spark SQL的應用技術、SparkStreaming技術,當然學習能一定要知其所以然,Spark核心源碼解析
好啦,就到這裡啦。我去碼代碼了!對了,想給大家傳播技術的時候,突然覺得文科功底太差是一件多麼悲催的事情,哈哈!
通過以下二維碼,關注數據君的技術文章
※《古墓麗影:源起之戰》還真是一個「盜墓」電影
※夢奇婚禮作品展示:遠方
TAG:全球大搜羅 |