對于robots.txt文件對于網站的作用大家都知道，但是通過觀察發現，有些朋友對于robots.txt文件的規則還是有一定的誤區。 

比如有很多人這樣寫： 

User-agent: * 

Allow: / 

Disallow: /mulu/ 

不知道大家有沒有看出來，這個規則其實是不起作用的，第一句Allow: / 指的是允許蜘蛛爬行所有內容，第二句Disallow: /mulu/指的是禁止/mulu/下面的所有內容。 

表面上看這個規則想達到的目的是：允許蜘蛛爬行除了/mulu/之外的網站所有頁面。 

但是搜索引擎蜘蛛執行的規則是從上到下，這樣會造成第二句命令失效。 

正確的規則應該是： 

User-agent: * 

Disallow: /mulu/ 

Allow: / 

也就是先執行禁止命令，再執行允許命令，這樣就不會失效了。 

另外對于百度蜘蛛來說，還有一個容易犯的錯誤，那就是Disallow命令和Allow命令之后要以斜杠/開頭，所以有些人這樣寫：Disallow: *.html 這樣對百度蜘蛛來說是錯誤的，應該寫成：Disallow: /*.html 。 

有時候我們寫這些規則可能會有一些沒有注意到的問題，現在可以通過百度站長工具（zhanzhang.baidu.com）和Google站長工具來測試。