網(wǎng)站避免蜘蛛爬行隱秘文件之robots.txt爬行語(yǔ)法規(guī)則

[重要通告]如您遇疑難雜癥,本站支持知識(shí)付費(fèi)業(yè)務(wù),掃右邊二維碼加博主微信,可節(jié)省您寶貴時(shí)間哦!

網(wǎng)站避免蜘蛛爬行隱秘文件之robots.txt爬行語(yǔ)法規(guī)則
================================
網(wǎng)站蜘蛛robots.txt爬行語(yǔ)法規(guī)則如下哈：
robots.txt語(yǔ)法其實(shí)很簡(jiǎn)單，robots.txt是一個(gè)最簡(jiǎn)單的.txt文件，
用以告訴搜索引擎哪些網(wǎng)頁(yè)可以收錄，哪些不允許收錄。
那今天本博客就先為大家介紹robots.txt語(yǔ)法基礎(chǔ)知識(shí)，
然后再提供幾個(gè)經(jīng)常要用到的robots.txt語(yǔ)法例子給朋友們參考。
robots.txt語(yǔ)法規(guī)則
最簡(jiǎn)單的 robots.txt 語(yǔ)法使用兩條規(guī)則：
　　User-Agent: 后面為搜索機(jī)器人的名稱，后面如果是*，則泛指所有的搜索機(jī)器人
　　Disallow: 限制搜索引擎不能訪問(wèn)網(wǎng)站中的哪些部分，Disallow后可以寫(xiě)目錄名，文件擴(kuò)展名，特定的程序文件結(jié)構(gòu)。
robots.txt語(yǔ)法示例
讓所有機(jī)器人訪問(wèn)所有文件(通配符”*”表示所有的意思)
1、攔截所有的機(jī)器人訪問(wèn)網(wǎng)站
User-agent: *
Disallow: /
2、禁止所有機(jī)器人訪問(wèn)特定目錄：
User-agent: *
Disallow: /public/
Disallow: /images/
Disallow: /temp/
Disallow: /include/
3、禁止特定搜索引擎蜘蛛訪問(wèn)特定目錄(這里我們以百度蜘蛛為例說(shuō)明)
User-agent: Baiduspider
Disallow: /test/
上面的robots.txt語(yǔ)法示例的意思是禁止百度蜘蛛爬行根目錄下的test目錄
4、僅禁止Baiduspider抓取.jpg格式圖片的robots.txt語(yǔ)法
User-agent: Baiduspider
Disallow: .jpg$
大家在學(xué)習(xí)robots.txt語(yǔ)法時(shí),可能會(huì)感到納悶的是:有那么多搜索引擎，那我不是要知道所有搜索引擎蜘蛛的名字。并不是這樣的，我們只要知道常見(jiàn)的搜索引擎名字就可以了。下面就帶大家來(lái)認(rèn)識(shí)幾大個(gè)搜索引擎蜘蛛名稱。
1、Google爬蟲(chóng)名稱: Googlebot
2、百度（Baidu）爬蟲(chóng)名稱：Baiduspider
3、雅虎（Yahoo）爬蟲(chóng)名稱：Yahoo Slurp
4、有道（Yodao）蜘蛛名稱：YodaoBot
5、搜狗（sogou）蜘蛛名稱：sogou spider
6、MSN的蜘蛛名稱(微軟最新搜索引擎Bing蜘蛛名也是這個(gè))：Msnbot

問(wèn)題未解決？付費(fèi)解決問(wèn)題加Q或微信 2589053300 (即Q號(hào)又微信號(hào))右上方掃一掃可加博主微信

所寫(xiě)所說(shuō)，是心之所感，思之所悟，行之所得；文當(dāng)無(wú)敷衍，落筆求簡(jiǎn)潔。 以所舍，求所獲；有所依，方所成！