例1. 禁止所有搜索引擎訪問網(wǎng)站的任何部分

User-agent: *

　　Disallow: /

例2. 允許所有的robot訪問

　　(或者也可以建一個空文件 "/robots.txt")

User-agent: *

　　Allow: /

例3. 僅禁止Baiduspider訪問您的網(wǎng)站

User-agent: Baiduspider

　　Disallow: /

例4. 僅允許Baiduspider訪問您的網(wǎng)站

User-agent: Baiduspider

　　Allow: /

例5. 禁止spider訪問特定目錄

　　在這個例子中，該網(wǎng)站有三個目錄對搜索引擎的訪問做了限制，即robot不會訪問這三個目錄。需要注意的是對每一個目錄必須分開聲明，而不能寫成 "Disallow: /cgi-bin/ /tmp/"。

User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

例6. 允許訪問特定目錄中的部分url

User-agent: *

　　Allow: /cgi-bin/see

　　Allow: /tmp/hi

　　Allow: /~joe/look

例7. 使用"*"限制訪問url

　　禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

User-agent: *

　　Disallow: /cgi-bin/*.htm

例8. 使用"$"限制訪問url

　　僅允許訪問以".htm"為后綴的URL。

User-agent: *

　　Allow: .htm$

例9. 禁止訪問網(wǎng)站中所有的動態(tài)頁面

User-agent: *

　　Disallow: /*?*

例10. 禁止Baiduspider抓取網(wǎng)站上所有圖片

　　僅允許抓取網(wǎng)頁，禁止抓取任何圖片。

User-agent: Baiduspider

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .gif$

　　Disallow: .png$

　　Disallow: .bmp$

例11. 僅允許Baiduspider抓取網(wǎng)頁和.gif格式圖片

　　允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片

User-agent: Baiduspider

　　Allow: .gif$

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .png$

　　Disallow: .bmp$

例12. 僅禁止Baiduspider抓取.jpg格式圖片

User-agent: Baiduspider

　　Disallow: .jpg$