Python火熱的罪魁禍首-大數據
小明裝逼完畢,作為阿姨大侄子的我,看著小明裝逼我也手痒痒,所以我就趕緊來給大家報個到,初次相知,還請餘生多多指教。
我有偷偷的關注你們哦!
看到有人後台留言說想了解大數據,恰好我現在也在研究大數據相關的東西,就先給大家介紹一下大數據吧,提高一下大家的熱情(目前處理數據最好的語言是Python,對大數據沒有興趣的也熱起來了嗎 ?*?*? ),請看下文↓↓↓
大數據產生的背景
在2006 年,個人用戶才剛剛邁進TB時代,全球一共新產生了約180EB的數據,但互聯網(社交、搜索、電商)、移動互聯網(微博)、物聯網(感測器,智慧地球)、車聯網、GPS、醫學影像、安全監控、金融(銀行、股市、保險)、電信(通話、簡訊)都在瘋狂產生著數據,數據呈現爆炸式增長,這時我們就進入了大數據的時代。
(單位:ZB)
(年份)
1GB(Gigabyte)=1024MB
1TB(Terabyte)=1024GB
1PB(Petabyte)=1024TB
1EB(Exabyte) =1024PB
1ZB(Zettabyte)=1024EB
什麼是大數據
大數據(big data),指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。
更通俗一點,大數據就是海量的數據,但我們不僅僅只關心這些數據的量,更在意的是如何利用這些數據(對這些數據的存儲、計算、分析、應用),這些都和傳統的處理方法不在一個量級上,需要我們創造出新的工具,想出更好方法去處理他們,更好的為我們去服務,融入到我們的生活中,這樣就形成了大數據時代。
如果我們想駕馭這龐大的數據,我們必須了解大數據的一些特徵。
體量(Volume)
互聯網的發展迅速使得數據體量非常大,且非結構化數據的超大規模和增長,比結構化數據增長快10倍到50倍,是傳統數據倉庫的10倍到50倍,總數據量的80~90%
多樣性(Variety)
不僅僅是單一的數據增加,數據的形式上也產生了很多形式(文本、圖像、視頻、機器數據等)
價值密度(Value)
海量的數據中有大量的不相關信息,但這些信息是對未來趨勢與模式的可預測分析,深度複雜分析,機器學習、人工智慧的基礎數據,好比沙中淘金,是大數據的低價值密度性
速度(Velocity)
大數據處理速要求越來越高,尤其是現在的實時分析而非批量式分析,從數據輸入、處理與丟棄,到立竿見影要求幾乎是ms級的
(雲計算相結合的大數據存儲速度顯著提升)
大數據的應用
實時交通信息
利用社交網路和天氣數據來優化最新的交通情況
智能城市系統
自動通知消防、公安、醫院等,迅速
自然災害預測
實時監測、對潛在危機做出快速響應,通過衛星和遙感技術,遠程獲取災區情況,制定合理
※使用Python實現一個簡易Http伺服器
※Python 模塊 urllib.parse
TAG:Python |