可視化爬蟲 Portia 試用體驗

作者：大魚

來源：http://brucedone.com/archives/986

緣起

最近一直在思考如何更改智能化抓取的事情，每當來了一個新的 task，都要自己手動分析，手動寫 xpath ，然後寫正則，各種測試，各種部署，其實說來，這些事情的重複度很高，那我們能不能把一些重複性的動作抽象出來，做成一個獨立的單元呢？在參考佷多類似的自動化的工具之後，猜想了如下的動作是可以抽象出來的

開始頁的格式化

比如 http://www.cnblogs.com/#1 http://www.cnblogs.com/#2 這種頁面都是規則的，直接生成這些待跑的頁面，然後放入，然後有一個上下頁面的邏輯聯繫

xpath 提取的滑鼠化和輸入化

這一點顯的相當重要，可以說如果能解決這個問題，就可以提高很高的生產效率，我們大部分的時間都花在寫 xpath，調試這個上面了，所以能通過點點點解決寫代碼的時間，就會很方便(這樣可能會有一個問題，瀏覽器拿出來的 xpath 和你正常的 xpath 不一樣，所以還得區分渲染前後渲染後的)

數據清洗的常規化

比如提取數字，字母，或者特定的內容，如果把這些內容也方便能過滑鼠點擊出來，也會給清洗方便很多(可以考慮這些都做成插件)

是否啟用 JS

渲染問題

數據 pipeline 的流向

輸入到各種資料庫裡面，不過，這個數據考慮輸入到中間件裡面。由中間件負責輸送到不同類似的目的地裡面

安裝

關於安裝，我個人推薦使用 docker ，不建議使用官方的最新鏡像，有一些問題一直沒有解決，我在嘗試了另外一個版本之後直接使用如下命令

特定的版本下我試過是沒有問題的，推薦大家就用這個版本，這樣這個服務就已經開啟了

使用新建 project

打開本地瀏覽器 ,打開之後就可以看到主界面了

首先創建一個項目，這點應該和 scrapy start project 一樣,然後進入到裡面，輸入你想爬的網址

新建 spider

假設輸入的是一個相冊 ，然後進入可編輯的界面，點擊

http://brucedone.com/wp-content/uploads/2017/03/blog3.png

進入面板

Project

Spider

Start_pages

Link Crawling

Sample Pages

以上的幾個屬性在我們熟悉了 scrapy 之後就了解是什麼東西了，除了最後一個，sample pages,我們看一下的解釋

簡而言之就是一個數據模板，當爬蟲爬取這些頁面的時候就可以按照你的模板來提取你要的數據，所以先要製作這樣的模板，才能進行數據的進一步操作

操作模板

這個時候進入到數據偵測狀態，新建一個 item，現在開始黑魔法階段

選擇工具

選中 這個工具，點擊你想要的元素,比如我選擇了圖片，評論，回應三個欄位

另外，欄位類型已經提供好了相應的數據清洗，比如我只要 text ,或者只要 number,選中之後右的數據欄就會相應的變化(不得不說，簡化了相當多的操作啊)

黑魔法-同類選擇

這些元素選擇完成之後，現在進入黑魔法階段，點擊-右邊的列表選項

我們根據當前的欄位顏色再次選中列表中的其它元素

是不是相當的神奇，這樣就可以將同節點下的相同元素都篩選出來，右邊的結果也可以以 json 顯示

總結

本次主要從

安裝

使用

想法

這幾個角度來分析了問題，下期我將從實用，功能，拓展的角度來分析如何用到生產線上，如果我的文章對大家有幫助的話，請不要吝惜您的贊或者打賞，謝謝

題圖：pexels，CC0 授權。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！