從安裝到數據抓取、存儲原來這麼簡單

基於大眾對Python的大肆吹捧和讚賞，作為一名Java從業人員，看了Python的書籍之後，決定做一名python的腦殘粉。

作為一名合格的腦殘粉（標題黨 (ノω)ノ），為了發展我的下線，接下來我會詳細的介紹 Python 的安裝 到開發工具的簡單介紹，並編寫一個抓取天氣信息數據並存儲到資料庫的例子。（這篇文章適用於完全不了解Python的小白超超超快速入門）

作者：旺旺筆記

源自：

https://www.cnblogs.com/zhaww/p/9517514.html#4049153

如果有時間的話，強烈建議跟著一起操作一遍，因為介紹的真的很詳細了。

1、Python 安裝

2、PyCharm(ide) 安裝

3、抓取天氣信息

4、數據寫入excel

5、數據寫入資料庫

1、Python安裝

下載 Python: 官網地址：https://www.python.org/ 選擇download 再選擇你電腦系統，小編是Windows系統的 所以就選擇

2、Pycharm安裝

下載 PyCharm : 官網地址：http://www.jetbrains.com/pycharm/

免費版本的可以會有部分功能缺失，所以不推薦，所以這裡我們選擇下載企業版。

安裝好 PyCharm，首次打開可能需要你 輸入郵箱 或者 輸入激活碼

3、抓取天氣信息

我們計劃抓取的數據：杭州的天氣信息，杭州天氣可以先看一下這個網站。

實現數據抓取的邏輯：使用python 請求 URL，會返回對應的 HTML 信息，我們解析 html，獲得自己需要的數據。（很簡單的邏輯）

第一步：創建 Python 文件

寫第一段Python代碼

這段代碼類似於 Java 中的 Main 方法。可以直接滑鼠右鍵，選擇 Run。

第二步：請求RUL

python 的強大之處就在於它有大量的模塊（類似於Java 的 jar 包）可以直接拿來使用。

我們需要安裝一個request模塊： File - Setting - Product - Product Interpreter

點擊如上圖的 + 號，就可以安裝 Python 模塊了。搜索requests模塊（有 s 噢），點擊 Install。

我們順便再安裝一個beautifulSoup4 和 pymysql模塊，beautifulSoup4 模塊是用來解析 html 的，可以對象化 HTML 字元串。pymysql 模塊是用來連接 mysql 資料庫使用的。

相關的模塊都安裝之後，就可以開心的敲代碼了。

定義一個 getContent 方法:

在 main 方法中調用：

第三步：分析頁面數據

定義一個 getData 方法：

上面的解析其實就是按照 HTML 的規則解析的。可以打開杭州天氣在開發者模式中（F12），看一下頁面的元素分布。

在 main 方法中調用：

數據寫入excel

現在我們已經在 Python 中拿到了想要的數據，對於這些數據我們可以先存放起來，比如把數據寫入 csv 中。

定義一個 writeDate 方法:

在 main 方法中調用：

執行之後呢，再指定路徑下就會多出一個weather.csv文件，可以打開看一下內容。

到這裡最簡單的數據抓取--儲存就完成了。

數據寫入資料庫

因為一般情況下都會把數據存儲在資料庫中，所以我們以 mysql 資料庫為例，嘗試著把數據寫入到我們的資料庫中。

第一步創建WEATHER 表：

創建表可以在直接在 mysql 客戶端進行操作，也可能用 python 創建表。在這裡 我們使用 python 來創建一張WEATHER表。

定義一個 createTable 方法：（之前已經導入了 import pymysql 如果沒有的話需要導入包）

在 main 方法中調用：

執行之後去檢查一下資料庫，看一下 weather 表是否創建成功了。

第二步批量寫入數據至 WEATHER 表：

定義一個 insertData 方法：

在 main 方法中調用：

檢查：執行這段 Python 語句後，看一下資料庫是否有寫入數據。有的話就大功告成了。

全部代碼看這裡：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！