robots文件的使用-SEO優化系列教程37

robots文件的使用-SEO優化系列教程（37）

robots.txt是一個協議。robots協議（也稱為爬蟲協議、機器人協議等）的全稱是「網路爬蟲排除標準 」（robots exclusion protocol）。網站通過robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。今天我 們就來講講robots文件的使用和robots.txt文件的作用，一起來看看吧！

robots.txt文件的作用

當一個搜索引擎訪問一個站點時。它會首先檢查該站點根目錄下是否存在robots.txt。 如果存在，搜索機器人就會按照該文件中的內容確定訪間的範圍；如果該文件不 存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。

如果將網站視為酒店裡的一個房間，robots.txt就是主人在房間門口懸掛的「請勿 打擾」的提示牌。這個文件告訴來訪的搜索引掌哪些房間可以進入和參觀，哪些房間 因為存放貴重物品，或可能涉及住戶及訪客的隱私而不對搜索引擎開放。但是，robot. txt不是命令，也不是防火牆，如同守門人無法阻止竊賊等惡意闖入者。

robots協議可以屏蔽一些網站中比較大的文件，如圖片、音樂、視頻等內容。節省 伺服器帶寬；也可以屏蔽站點的一些死鏈接，禁止搜索引掌抓取。

robots文件的寫法

1.robots文件的簡單寫法

robots文件最簡單的寫法只有兩行：

第一行：user-agent:*

第二行：Disallow:（或Allow:）意思為：搜索引擎可以抓取網結的所有文件。

2.robots文件的其他寫法

ser-aget:*這裡的·代表所有的搜索引摩種類，·是一個通配符

Disallow:/admin/禁止抓取admin目錄及目錄下的文件。

Disallow:/require/禁止抓取require目錄及目錄下的文件。

Disallow:/ABC/禁止抓取ABC目錄及目錄下的文件

Disallow:/*?*禁止訪問網站中所有包含問號（）的網址。

Disallow:/ab/adc.html 禁止抓取ab文件夾下面的adc.html文件。

注意：在robots文件中，可以將網站地圖的鏈接放在後面，方便搜索引擎首先訪問並且抓取。

robots文件的設置

先檢查網站是否有robots文件，直接在域名後輸入robotstt 即可，如https/www. haol23.com/robots.txt,如果沒有，就按照以下步驟設置：

第一步：在桌面建立一個記事本，命名為robots.tt:

第二步：寫入以下兩行英文代碼，保存。User-agent:* Disallow

第三步：連接FTP，將robots.tt文件上傳到FTP根目錄中，

第四步：通過訪問域名/robots.txt，檢查是否正常訪問。正常訪問說明設置成功。

注意：robots.txt的命名都是小寫。

以上就是對robots文件的使用和robots.txt文件的作用的介紹，感謝大家的收看，觀看過後 的朋友們趕快運用起來吧！

(本文出自廣州新川教育，專業網路營銷、seo培訓）

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！