如何正確識(shí)別Baiduspider百度蜘蛛
>對(duì)Baiduspider的了解和理解也是seoer必須了解的內(nèi)容之一。只有掌握正確識(shí)別Baiduspider的技術(shù)，對(duì)了解網(wǎng)站的優(yōu)化效果和發(fā)展?fàn)顩r才會(huì)有很大幫助。那么如何鑒別baiduspider呢？今天石家莊seo博客轉(zhuǎn)載了百度站長(zhǎng)平臺(tái)的一篇文章，詳細(xì)介紹了識(shí)別Baiduspider的方法。以下是身體部位:
如何正確識(shí)別Baiduspider mobile ua
新的移動(dòng)ua:
Mozilla/5.0(Linux；u；Android 4 . 2 . 2；zh-cn；)AppleWebKit/534.46 (KHTML，喜歡Gecko)版本/5.1 Mobile Safari/10600.6.3(兼容；baiduspider/2.0；+http://www . Baidu . com/search/spider . html)
PC ua:
Mozilla/5.0(兼容；baiduspider/2.0；+http://www . Baidu . com/search/spider . html)
關(guān)注“+http://www . Baidu . com/search/spider . html”標(biāo)識(shí)的網(wǎng)站！您需要修改識(shí)別方法。識(shí)別Baiduspider mobile ua的新的正確方法如下:
1.通過(guò)關(guān)鍵詞“Android”或“Mobile”識(shí)別，判斷是移動(dòng)訪問(wèn)還是抓取。
2.通過(guò)關(guān)鍵詞“Baiduspider/2.0”，判斷為百度爬蟲(chóng)。
另外需要強(qiáng)調(diào)的是，如果禁用代理是Baiduspider，那么無(wú)論是PC還是手機(jī)都會(huì)生效。也就是說(shuō)，無(wú)論是PC還是移動(dòng)Baiduspider都不會(huì)抓取被禁止的對(duì)象。之所以強(qiáng)調(diào)這一點(diǎn)，是發(fā)現(xiàn)有些代碼適應(yīng)了站點(diǎn)(同一個(gè)url，PC ua打開(kāi)的時(shí)候是PC頁(yè)面，移動(dòng)ua打開(kāi)的時(shí)候是移動(dòng)頁(yè)面)，想設(shè)置機(jī)器人的代理禁令，達(dá)到只允許移動(dòng)Baiduspider爬行的目的。但是由于PC和移動(dòng)Baiduspider代理都是百度蜘蛛，所以這種方法非常不可取。
如何識(shí)別百度蜘蛛
百度蜘蛛可以說(shuō)是站長(zhǎng)的客人，但是我們遇到過(guò)站長(zhǎng)這樣的問(wèn)題:我們?cè)趺磁袛鄬?duì)我們網(wǎng)站內(nèi)容瘋狂的蜘蛛是不是百度的？其實(shí)站長(zhǎng)可以通過(guò)IP的DNS反向查找來(lái)判斷一個(gè)蜘蛛是否來(lái)自百度搜索引擎。根據(jù)不同平臺(tái)如linux/windows/os的不同認(rèn)證方式，認(rèn)證方式如下:
1.在linux平臺(tái)下，您可以使用host ip命令來(lái)反轉(zhuǎn)ip，以確定它是否來(lái)自Baiduspider。Baiduspider的主機(jī)名以* Baidu . com或*.baidu.jp的格式命名，如果不是*.baidu.com或* .baidu.jp，就是冒名頂替。
2.在windows平臺(tái)或IBM OS/2平臺(tái)上，可以使用nslookup ip命令反向ip，確定是否被Baiduspider抓取。打開(kāi)命令處理器，輸入nslookup xxx.xxx.xxx.xxx(ip地址)解析ip，判斷是否被Baiduspider抓取。Baiduspider的主機(jī)名以* Baidu . com或*.baidu.jp的格式命名，如果不是*.baidu.com或* .baidu.jp，就是冒名頂替。
3.在mac os平臺(tái)上，可以使用dig命令反向ip，確定是否來(lái)自Baiduspider。打開(kāi)命令處理器，輸入dig xxx.xxx.xxx.xxx(ip地址)解析ip，判斷是否被Baiduspider抓取。Baiduspider的主機(jī)名以* Baidu . com或*.baidu.jp的格式命名，如果不是*.baidu.com或* .baidu.jp，就是冒名頂替。
什么是Baiduspider IP
即使很多站長(zhǎng)知道如何判斷百度蜘蛛，也會(huì)不停地問(wèn)“百度蜘蛛的IP是什么”。我們理解站長(zhǎng)的意思，就是想把百度蜘蛛的IP加到白名單里，只允許白名單下面的IP爬上網(wǎng)站，避免被收集。
但是我們不建議站長(zhǎng)這么做。雖然百度蜘蛛確實(shí)有一個(gè)真實(shí)IP在其中切換的IP池，但我們不能保證整個(gè)IP池都不變。因此，我們建議站長(zhǎng)在發(fā)現(xiàn)惡意蜘蛛后，要經(jīng)常閱讀日志，并將其列入黑名單，以保證百度的正常爬行。
同時(shí)，我們?cè)俅螐?qiáng)調(diào)，用IP來(lái)區(qū)分百度蜘蛛的屬性是很可笑的，所謂的“沙盒蜘蛛”和“降能蜘蛛”從來(lái)就不存在。
轉(zhuǎn)載請(qǐng)注明：秦皇島seo,網(wǎng)絡(luò)推廣,優(yōu)享網(wǎng)-更全面的互聯(lián)網(wǎng)資源下載網(wǎng)站 » 如何正確識(shí)別Baiduspider百度蜘蛛
