Python爬蟲之天氣預報
點擊上方「
Python開發
」，選擇「置頂公眾號」
關鍵時刻，第一時間送達！
寫在最前面的話：
大家好，我是Victor 278，由於本人是做前端的，Python學來作知識擴充的，看到非常多的小夥伴高呼著想從0開始學爬蟲，這裡開始寫定向爬蟲從0開始，獻給想學爬蟲的零基礎新人們，歡迎各位大佬們的指點。
本文章適用人群：
1、零基礎的新人；
2、Python剛剛懂基礎語法的新人；
學習定向爬蟲前需要的基礎：
1、Python語法基礎；
2、請閱讀或者收藏以下幾個網站：
1）Requests庫
http://cn.python-requests.org/zh_CN/latest/
2）BeautifulSoup4庫
https://www.crummy.com/software/BeautifulSoup/bs4/doc/
如果沒有Python基礎的新人，我建議可以學習以下資料：
1、官方最新的英文文檔（
https://docs.python.org/3/
）2、python 3.60版本中文文檔
（
http://www.pythondoc.com/pythontutorial3/index.html
）
3、廖雪峰Python教程（https://www.liaoxuefeng.com/）
備註
：書籍也有很多選擇，但是其實入門教程講來講去都是那些東西，不做細究，你隨意挑一本完完整整的學習好比你浪費時間選擇教材要強多了。正文開始：
我假設你已經符合上述的標準，現在我們就來開始第一個爬蟲的網站，我們首先挑選一個下手；
附上URL：中國天氣網（http://www.weather.com.cn/weather1d/101280101.shtml#dingzhi_first）
第一步：
請確保你已經安裝了Requests和Beautifulsoup4的庫，否則你可以打開CMD（命令提示符）然後輸入
pip3 install requestspip3 install Beautifulsoup4pip3 install lxml
安裝完畢後接著打開你的編輯器，這裡對編輯器不做糾結，用的順手就好。
首先我們做爬蟲，拿到手第一個步驟都是要先獲取到網站的當前頁的所有內容，即HTML標籤。所以我們先要寫一個獲取到網頁HTML標籤的方法。
整個爬蟲的的代碼搭建我都採用的是將不同的功能做成不同的函數，在最後需要調用的時候進行傳參調用就好了。
那麼問題來了，為什麼要這麼做呢？
寫代碼作為萌新要思考幾件事：
1、這個代碼的復用性；
2、這個代碼的語義化以及功能解耦；
3、是否美觀簡潔，讓別人看你的代碼能很清楚的理解你的邏輯；
代碼展示：
""" import import
抓取每天的天氣數據
python 3.6.2
url:http://www.weather.com.cn/weather1d/101280101.shtml#dingzhi_first
"""
def
get_html
(url)
:"""
封裝請求
"""
headers = {
"User-Agent"
:"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"
,"ContentType"
:"text/html; charset=utf-8"
,"Accept-Encoding"
:"gzip, deflate, sdch"
,
"Accept-Language"
:"zh-CN,zh;q=0.8"
,"Connection"
:"keep-alive"
,}
try
:htmlcontet = requests.get(url, headers=headers, timeout=
30
)htmlcontet.raise_for_status()
htmlcontet.encoding =
"utf-8"
return
htmlcontet.textexcept
:return
" 請求失敗 "
上述代碼幾個地方我特別說明一下：
""" import import
抓取每天的天氣數據
python 3.6.2
url:http://www.weather.com.cn/weather1d/101280101.shtml#dingzhi_first
"""
養成好習慣代碼一開始的注釋表明這是一個什麼功能的Python文件，使用的版本是什麼，URL地址是什麼，幫助你下次打開的時候能快速理解這個文件的用途。
由於Requests和Beautifulsoup4是第三方的庫，所以在下面要用import來進行引入
然後是
def get_html (url)
"""
封裝請求
"""
headers = {
"User-Agent"
:"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"
,"ContentType"
:"text/html; charset=utf-8"
,"Accept-Encoding"
:"gzip, deflate, sdch"
,"Accept-Language"
:"zh-CN,zh;q=0.8"
,"Connection"
:"keep-alive"
,}
try
:htmlcontet = requests.get(url, headers=headers, timeout=
30
)htmlcontet.raise_for_status()
htmlcontet.encoding =
"utf-8"
return
htmlcontet.textexcept
:return
" 請求失敗 "
其中
def get_html (url)
構造一個名為get_html的函數，並傳入你要請求的URL地址進去，會返回一個請求後的結果，
構造好後，調用的時候直接
"包裹你的url"url =
get_html(url)
然後同樣備註好你的這個函數的功能是做什麼的，headers裡面包裹了一些偽裝成瀏覽器訪問的一些頭部文件可以直接你複製過去使用。
這裡要說一下為什麼要做基礎的偽裝成瀏覽器，由於有了爬蟲，自然就有反爬蟲。有些網站為了惡意避免爬蟲肆意爬取或者進行攻擊等等情況，會做大量的反爬蟲。偽裝瀏覽器訪問是反爬蟲的一小步。
好了我們繼續，
htmlcontet = requests.get(url, headers=headers, timeout= 30 ) "utf-8" return htmlcontet.text
htmlcontet.raise_for_status()
htmlcontet.encoding =
第一條如果我們看了Requests之後就知道這是一個解析你傳入的url，並包含了請求頭，響應延時
第二條，如果當前頁面響應的情況會返回一個json數據包，我們通過這個語法來確認是否為我們要的成功響應的結果
第三條，解析格式，由於該網站我們可以看到已知字元編碼格式為utf-8所以在這裡我就寫死了是utf-8
最後都沒問題後，返回一個頁面文件出來
第二步：
拿到一個頁面文件後，我們就需要觀察一下該網頁的HTML結構
這裡介紹一下如何觀察一個網頁的結構，打開F12或者，找個空白的位置右鍵——>檢查
我們大概會看到這樣的一個情況：
沒錯你看到那些<body><div>這些就是HTML語言，我們爬蟲就是要從這些標記裡面抓取出我們所需要的內容。
我們現在要抓取這個1日夜間和2日白天的天氣數據出來：
我們首先先從網頁結構中找出他們的被包裹的邏輯
很清楚的能看到他們的HTML嵌套的邏輯是這樣的：
<div class="con today clearfix">
|
|_____<div class="left fl">
|
|_____<div class="today clearfix" id="today">
|
|______<div class="t">
|
|_____<ul class="clearfix">
|
|_____<li>
|
|_____<li>
我們要的內容都包裹在li裡面，然後這裡我們就要用BeautifulSoup裡面的find方法來進行提取查詢
我們繼續構建一個抓取網頁內容的函數，由於我們最終要的數據有兩條，所有我先聲明一個weather_list的數組來等會保存我要的結果。
代碼如下：
def get_content (url)
"""
抓取頁面天氣數據
"""
weather_list = []
html = get_html(url)
soup = bs4.BeautifulSoup(html,
"lxml"
)content_ul = soup.find(
"div"
, class_="t"
).find_all("li"
)for
contentin
content_ul:try
:weather = {}
weather[
"day"
] = content.find("h1"
).textweather[
"temperature"
] = content.find("p"
, class_="tem"
).span.text + content.find("p"
, class_="tem"
).em.textweather_list.append(weather)
except
:print(
"查詢不到"
)同樣的話不說第二遍，我們要寫好注釋。在聲明完數組後，我們就可調用剛才封裝好的請求函數來請求我們要的URL並返回一個頁面文件，接下來就是用Beautifulsoup4裡面的語法，用lxml來解析我們的網頁文件。
你們可以用
"lxml" printsoup = bs4.BeautifulSoup(html,
就可以看到整個HTML結構出現在你眼前，接下來我就們就根據上面整理出來的標籤結構來找到我們要的信息
"div" "t" "li"content_ul = soup.find(
具體方法，要熟讀文檔，我們找到所有的li後會返回一個這樣的結構
這是一個數組的格式，然後我們遍歷它，構造一個字典，我們對於的操作字典建立"day","temperature"鍵值對
for in try "day" "h1" "temperature" "p" "tem" "p" "tem" except "查詢不到"
weather = {}
weather[
weather[
weather_list.append(weather)
print(
print(weather_list)
最後輸出
附上完整代碼：
""" import import import
抓取每天的天氣數據
python 3.6.2
url:http://www.weather.com.cn/weather1d/101190401.shtml
"""
def
get_html
(url)
:"""
封裝請求
"""
headers = {
"User-Agent"
:"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"
,"ContentType"
:"text/html; charset=utf-8"
,"Accept-Encoding"
:"gzip, deflate, sdch"
,"Accept-Language"
:"zh-CN,zh;q=0.8"
,"Connection"
:"keep-alive"
,}
try
:htmlcontet = requests.get(url, headers=headers, timeout=
30
)htmlcontet.raise_for_status()
htmlcontet.encoding =
"utf-8"
return
htmlcontet.textexcept
:return
" 請求失敗 "
def
get_content
(url)
:"""
抓取頁面天氣數據
"""
weather_list = []
html = get_html(url)
soup = bs4.BeautifulSoup(html,
"lxml"
)content_ul = soup.find(
"div"
, class_="t"
).find("ul"
, class_="clearfix"
).find_all("li"
)for
contentin
content_ul:try
:weather = {}
weather[
"day"
] = content.find("h1"
).textweather[
"temperature"
] = content.find("p"
, class_="tem"
).span.text + content.find("p"
, class_="tem"
).em.textweather_list.append(weather)
except
:print(
"查詢不到"
)print(weather_list)
if
__name__ =="__main__"
:url =
"http://www.weather.com.cn/weather1d/101190401.shtml"
get_content(url)
歡迎大神，萌新指教，討論~
來自
：Victor 278
https://zhuanlan.zhihu.com/p/30632556
Python開發整理髮布，轉載請聯繫作者獲得授權
【點擊成為程序員大咖】
TAG:Python開發 |