一個小爬蟲（上）

最新 07-19

（題圖來自於網路）

有這麼一個需求：要得到某個區域的邊緣坐標點。本文就帶領大家一起來實現這個需求。

step1 需求分析

我們需要獲取某個區域的範圍，在百度地圖上剛好有這個區域的範圍，通過查閱百度地圖查詢得到區域邊緣的源代碼後，發現邊緣點保存在js文件中，我們可以利用Python中的json包，把這些js信息解析出來，進而保存下來。(下圖為百度地圖上標識的區域，以我的母校為例)，經過分析網頁源碼，發現區域邊緣上的點，保存在一個js頁面當中。（瀏覽器F12可查看網頁源碼）

step2 數據抓取

首先導入需要使用的Python庫，介紹一下這些庫的作用

requests:根據url將網頁源代碼下載下來

json：用來將網頁中的js內容轉換為Python字典類型

re:正則表達式庫，用於提取網頁中滿足一定規律的內容（比如本案例中的經緯度信息）

pandas:Python中操作結構化數據的程序庫，能夠實現幾乎所有Excel的數據操作功能，本例中，用來結構化經緯度數據

獲取區域的uid

先查看抓取到的uid,這些16進位的字元串是構造用於抓取經緯度信息的一部分，經過驗證，發現選擇其中第一個字元串即可。

我們可以先來查看通過其中第一個字元串抓取到的情況

{"content":{"geo":"412618225.7275,2634141.50233;12620436.14,2635744.108191-12618229.2366,2634972.26759,12618225.7275,2635002.28594,12618227.1548,2635005.75909,12618263.5817,2635013.24391,12618295.9275,2635082.51963,12618301.8005,2635082.54492,12618306.1276,2635141.32619,12618269.1117,2635143.4825,12618264.6473,2635174.57984,12618259.351,2635219.88318,12618568.2984,2635230.62723,12618556.9761,2635367.12823,12618566.7501,2635380.12539,12618593.2436,2635391.57514,12618878.5036,2635441.67687,12618

為了看起來更加直觀，也便於，稍後將經緯度信息提取出來，我們使用json庫將這些數據轉換成Python字典類型

再使用正則表達式來提取經緯度信息，並循環取出其中的每一組經緯度，並把它們轉換成數值型。