大數據在現實生活中的具體應用

數據處理的最典型應用：公司的產品運營情況分析

電商推薦系統：基於海量的瀏覽行為、購物行為數據，進行大量的演算法模型的運算，得出各類推薦結論，以供電商網站頁面來為用戶進行商品推薦

精準廣告推送系統：基於海量的互聯網用戶的各類數據，統計分析，進行用戶畫像（得到用戶的各種屬性標籤），然後可以為廣告主進行有針對性的精準的廣告投放

1、什麼是hadoop

hadoop中有3個核心組件：

分散式文件系統：HDFS —— 實現將文件分散式存儲在很多的伺服器上

分散式運算編程框架：MAPREDUCE —— 實現在很多機器上分散式並行運算

分散式資源調度平台：YARN —— 幫用戶調度大量的mapreduce程序，併合理分配運算資源

2、hdfs整體運行機制

hdfs：分散式文件系統

hdfs有著文件系統共同的特徵：

1、有目錄結構，頂層目錄是： /

2、系統中存放的就是文件

3、系統可以提供對文件的：創建、刪除、修改、查看、移動等功能

hdfs跟普通的單機文件系統有區別：

1、單機文件系統中存放的文件，是在一台機器的操作系統中

2、hdfs的文件系統會橫跨N多的機器

3、單機文件系統中存放的文件，是在一台機器的磁碟上

4、hdfs文件系統中存放的文件，是落在n多機器的本地單機文件系統中（hdfs是一個基於linux本地文件系統之上的文件系統）

hdfs的工作機制：

1、客戶把一個文件存入hdfs，其實hdfs會把這個文件切塊後，分散存儲在N台linux機器系統中（負責存儲文件塊的角色：data node）

2、一旦文件被切塊存儲，那麼，hdfs中就必須有一個機制，來記錄用戶的每一個文件的切塊信息，及每一塊的具體存儲機器（負責記錄塊信息的角色是：name node）

3、為了保證數據的安全性，hdfs可以將每一個文件塊在集群中存放多個副本（到底存幾個副本，是由當時存入該文件的客戶端指定的）

綜述：一個hdfs系統，由一台運行了namenode的伺服器，和N台運行了datanode的伺服器組成！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！