robots.txt對于任何一個(gè)做網(wǎng)站的人應(yīng)該都不陌生，它只是一個(gè)純文本文件，但是卻可以限制搜索引擎蜘蛛對網(wǎng)站的爬行，下面具體介紹一下robots.txt。
robots.txt簡介
robots.txt位于網(wǎng)站的根目錄下，當(dāng)spider訪問一個(gè)網(wǎng)站（例：http://talent-hk.com）時(shí)候，首先會(huì)檢查該網(wǎng)站中是否存在http://www.yiisu/robots.txt這個(gè)文件，如果存在就會(huì)遵循robots.txt的規(guī)則去爬行網(wǎng)站。
robots.txt寫法
注：robots.txt區(qū)分大小寫，如php.html和PHP.html會(huì)被識(shí)別為不同的文件，書寫robots.txt時(shí)所有字符均為英文半角。
1、例子
User-agent: Baiduspider
Disallow: /
這是拒絕百度蜘蛛訪問的寫法。
2、User-agent
User-agent表示搜索引擎robot的名字，書寫robots.txt必須有User-agent
User-agent：*
表示所有的robot
User-agent:Baiduapider
表示百度spider
3、Disallow
Disallow表示不允許訪問
Disallow:
不允許訪問為空，表示允許訪問任何目錄
Disallow: /
表示不允許訪問任何目錄，注：在/前有一個(gè)空格
4、Allow
Allow表示允許訪問，意思和用法與Disallow相反，在此不再過多敘述。
具體用法舉例
1、允許所有蜘蛛訪問所有目錄
User-Agent: *
Allow: /
2、禁止所有蜘蛛訪問
User-Agent: *
Disallow: /
3、允許所有蜘蛛訪問某個(gè)目錄
User-Agent: *
Allow: /php/
4、禁止蜘蛛訪問某幾個(gè)目錄
User-Agent: *
Disallow: /php/
Disallow: /java/
5、禁止蜘蛛訪問動(dòng)態(tài)頁面
User-Agent: *
Disallow: /*?*
