摘要：
日照網站公司分析，robots協議對于我們的網站建設很重要的，可以很好的保護我們網站一些文件不會裸露在搜索引擎之下，進而就會有效的控制搜索引擎蜘蛛的抓取路徑，為我們站長做好網站seo創造必要的條件。特別是我們的網站剛剛創建，有些內容還不是很完善，暫時還不想被搜索引擎收錄時，就可以很好的使用robots協議，發揮robots協議大的價值。
日照網站公司案例
robots.txt協議文件屬于網站的一個純文本文件，主要是給搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行到我們的網站，步就是抓取這個文件--robots協議，根據里面描述的內容來決定對我們網站文件訪問的大概框架。
在一個站點上不僅擁有唯一一個"/robots.txt"文件，而且文件名的每個字母要求全部是小寫。
robots.txt文件用法舉例
例1.禁止所有搜索引擎訪問網站的任何部分
下載該robots.txt文件User-agent:*
Disallow:/
例2.允許所有的robot訪問
(或者也可以建一個空文件"/robots.txt"file)
User-agent:*
Disallow:
例3.禁止某個搜索引擎的訪問
User-agent:BadBot
Disallow:/
例4.允許某個搜索引擎的訪問
User-agent:搜索引擎spider
Disallow:
User-agent:*
Disallow:/
一個簡單例子
在這個例子中，該網站有三個目錄對搜索引擎的訪問做了限制，即搜索引擎不會訪問這三個目錄。
日照網站公司-鼎欣提醒大家需要注意的是對每一個目錄必須分開聲明，而不要成"Disallow:/cgi-bin//tmp/"。
User-agent:后的*具有特殊的含義，代表"anyrobot"，所以在該文件中不能有"Disallow:
/tmp/*"or"Disallow:*.gif"這樣的記錄出現.
User-agent:*
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/~joe/
