如何正確識別Baiduspider百度蜘蛛
>對Baiduspider的了解和理解也是seoer必須了解的內容之一。只有掌握正確識別Baiduspider的技術,對了解網站的優化效果和發展狀況才會有很大幫助。那么如何鑒別baiduspider呢?今天石家莊seo博客轉載了百度站長平臺的一篇文章,詳細介紹了識別Baiduspider的方法。以下是身體部位:
如何正確識別Baiduspider mobile ua
新的移動ua:
Mozilla/5.0(Linux;u;Android 4 . 2 . 2;zh-cn;)AppleWebKit/534.46 (KHTML,喜歡Gecko)版本/5.1 Mobile Safari/10600.6.3(兼容;baiduspider/2.0;+http://www . Baidu . com/search/spider . html)
PC ua:
Mozilla/5.0(兼容;baiduspider/2.0;+http://www . Baidu . com/search/spider . html)
關注“+http://www . Baidu . com/search/spider . html”標識的網站!您需要修改識別方法。識別Baiduspider mobile ua的新的正確方法如下:
1.通過關鍵詞“Android”或“Mobile”識別,判斷是移動訪問還是抓取。
2.通過關鍵詞“Baiduspider/2.0”,判斷為百度爬蟲。
另外需要強調的是,如果禁用代理是Baiduspider,那么無論是PC還是手機都會生效。也就是說,無論是PC還是移動Baiduspider都不會抓取被禁止的對象。之所以強調這一點,是發現有些代碼適應了站點(同一個url,PC ua打開的時候是PC頁面,移動ua打開的時候是移動頁面),想設置機器人的代理禁令,達到只允許移動Baiduspider爬行的目的。但是由于PC和移動Baiduspider代理都是百度蜘蛛,所以這種方法非常不可取。
如何識別百度蜘蛛
百度蜘蛛可以說是站長的客人,但是我們遇到過站長這樣的問題:我們怎么判斷對我們網站內容瘋狂的蜘蛛是不是百度的?其實站長可以通過IP的DNS反向查找來判斷一個蜘蛛是否來自百度搜索引擎。根據不同平臺如linux/windows/os的不同認證方式,認證方式如下:
1.在linux平臺下,您可以使用host ip命令來反轉ip,以確定它是否來自Baiduspider。Baiduspider的主機名以* Baidu . com或*.baidu.jp的格式命名,如果不是*.baidu.com或* .baidu.jp,就是冒名頂替。
2.在windows平臺或IBM OS/2平臺上,可以使用nslookup ip命令反向ip,確定是否被Baiduspider抓取。打開命令處理器,輸入nslookup xxx.xxx.xxx.xxx(ip地址)解析ip,判斷是否被Baiduspider抓取。Baiduspider的主機名以* Baidu . com或*.baidu.jp的格式命名,如果不是*.baidu.com或* .baidu.jp,就是冒名頂替。
3.在mac os平臺上,可以使用dig命令反向ip,確定是否來自Baiduspider。打開命令處理器,輸入dig xxx.xxx.xxx.xxx(ip地址)解析ip,判斷是否被Baiduspider抓取。Baiduspider的主機名以* Baidu . com或*.baidu.jp的格式命名,如果不是*.baidu.com或* .baidu.jp,就是冒名頂替。
什么是Baiduspider IP
即使很多站長知道如何判斷百度蜘蛛,也會不停地問“百度蜘蛛的IP是什么”。我們理解站長的意思,就是想把百度蜘蛛的IP加到白名單里,只允許白名單下面的IP爬上網站,避免被收集。
但是我們不建議站長這么做。雖然百度蜘蛛確實有一個真實IP在其中切換的IP池,但我們不能保證整個IP池都不變。因此,我們建議站長在發現惡意蜘蛛后,要經常閱讀日志,并將其列入黑名單,以保證百度的正常爬行。
同時,我們再次強調,用IP來區分百度蜘蛛的屬性是很可笑的,所謂的“沙盒蜘蛛”和“降能蜘蛛”從來就不存在。