搜索引擎的網路爬蟲、網頁蜘蛛爬行知識分享,robots協議能阻止站點被爬嗎?
網路爬蟲是一個自動提取網頁的程序,它為搜索引擎從Internet網上下載網頁數據,是搜索引擎的重要組成部分。映射到現實中就是:用戶打開瀏覽器,輸入URL,打開源網頁。選取想要的內容,包括標題,摘要,正文等信息,存儲到硬碟中的過程。在程序技術層面上就是:網路請求,抓取結構化數據,數據存儲這三步。
爬蟲分類
通用爬蟲又稱全網爬蟲(Scalable Web Crawler);
聚焦爬蟲(Focused Crawler);
增量式爬蟲(Incremental Web Crawler)爬行儘可能新的頁面;
Deep Web 爬蟲(Deep Web,也稱 Invisible Web Pages 或 Hidden Web)。
爬蟲抓取和更新的策略
隨著網路的迅速發展,大量信息的體和數量不斷增加的網站,爬蟲效率不足等問題。如何高效率的提取精準信息便是搜索引擎急需解決的一項棘手問題,於是爬蟲策略便應用而生:
1.深度優先策略
2.寬度優先策略
3.反向鏈接數策略
4.Partial PageRank策略
5.OPIC策略策略
6.大站優先策略
由於互聯網是實時變化的,具有很強的動態性。策略的更新也是重中之重:
1.歷史參考策略
2.用戶體驗策略
3.聚類抽樣策略
分布式抓取
一般來說,抓取系統需要面對的是整個互聯網上數以億計的網頁。單個抓取程序不可能完成這樣的任務。往往需要多個抓取程序一起來處理。一般來說抓取系統往往是一個分布式的結構。
1.主從式(Master-Slave)
有一台專門的Master伺服器來維護待抓取URL隊列,它負責每次將URL分發到不同的Slave伺服器,而Slave伺服器則負責實際的網頁下載工作。Master伺服器除了維護待抓取URL隊列以及分發URL之外,還要負責調解各個Slave伺服器的負載情況。以免某些Slave伺服器過於清閑或者勞累。這種模式下,Master往往容易成為系統瓶頸。
2.對等式(Peer to Peer)
所有的抓取伺服器在分工上沒有不同。每一台抓取伺服器都可以從待抓取在URL隊列中獲取URL,然後對該URL的主域名的hash值H,然後計算H mod m(其中m是伺服器的數量,以上圖為例,m為3),計算得到的數就是處理該URL的主機編號。
robots協議
robots.txt(統一小寫)是一種存放於網站根目錄下的ASCII編碼的文本文件,它告訴網路蜘蛛,網站中的哪些內容是不應被網路蜘蛛獲取的,哪些是可以被取的。因為一些系統中的URL是大小寫敏感的,所以robots.txt的文件名應統一為小寫。robots.txt應放置於網站的根目錄下。如果想單獨定義搜索引擎的漫遊器訪問子目錄時的行為,那麼可以將自定的設置合并到根目錄下的robots.txt,或者使用robots元數據(Metadata,又稱元數據)。robots.txt協議並不是一個規範,而只是約定俗成的,所以並不能保證網站的隱私。
網站地圖
Sitemap指令被很多搜索引擎支持,指定了網站Sitemaps文件的位置。Sitemaps文件包含了網站頁面所在的URL的一個列表。Sitemap指令並不受User-agent指令的限制,所以它可以放在robots.txt文件中的任意位置。要注意的就是要使用網站地圖指令,
例:Sitemap:
總結:
robots.txt只防君子不防小人。通常大的搜索引擎會識別這個元數據,不索引這個頁面,以及這個頁面的鏈出頁面。
※大數據時代如何保護數據,反爬蟲竊取的實用思路和方法
※不浪不飄,老實本分的關係型資料庫
※物聯網離我們有多遠,八一八物聯網,縷一縷IoT
※大數據不可缺少的部分——信息圖
TAG:碼尚 |
※這次iMac真的遇到「bug」了:蜘蛛爬進了屏幕里
※Virgil Abloh 又舉報抄襲,Clot全新星空&蜘蛛網客製鞋款來襲
※iPhone XS MAX全球首碎,屏幕成蜘蛛網!一看官方維修價,網友:買得起,修不起
※Faker被GRF蜘蛛打崩心態,Wolf早就提醒過他:草叢普攻會暴露視野
※蜘蛛Rescue Assist&Atlantic Salt橫向測評:同時擁有是一種什麼樣的體驗?
※Donovan Mitchell:「你的好鄰居蜘蛛俠來了!」
※專為蜘蛛俠打造!Air Jordan 1 Origin Story別注配色上腳!
※騷操作!用蜘蛛俠蛛網發射器來玩《Apex英雄》探路者
※蜘蛛網+閃電元素!Goodhood x Vans 全新系列亮點滿滿
※Festo仿生蜘蛛機器人,可以行走和快速滾動
※蜘蛛俠限定!Air Jordan 1 Retro再次出現熱門配色!
※iMac名副其實出bug!蜘蛛跑進屏幕,戳一下還會動!這可怎麼辦?
※鋼鐵蜘蛛來襲,《復仇者聯盟3:無限之戰》Iron Spider
※兄die,敢喝蜘蛛奶嗎?
※如果有了鋼鐵俠,那就再來一個蜘蛛俠吧,Iron Studios 鋼鐵蜘蛛俠雕像
※《漫威蜘蛛俠》有二周目嗎?Insomniac:正在做了
※Rita Ora 和「蜘蛛俠」陷入熱戀
※realme X蜘蛛俠定製版首銷告罄,熱度向電影看齊!
※蜘蛛俠主題 Air Jordan 1 「Origin Story」 上腳效果不俗!
※為什麼人們會把敞篷車叫 Spider 「蜘蛛」?