ID #1101

百度蜘蛛- Baiduspider

百度蜘蛛- Baiduspider 是什么意思:
百度是如何收錄到那么多網頁的呢?這個百度用以抓取互聯網上數以億計的網頁的程序,就叫做Baiduspider - 百度蜘蛛。
它是一個程序,夜以繼日得在互聯網上找尋新的URL,接著抓取URL上的內容,返回到百度的網頁暫存數據庫。
百度用來抓取網頁內容的程序,叫做Baiduspider,抓取其他內容的蜘蛛,則是新的名字:
產品名稱                 對應user-agent
網頁搜索                Baiduspider
無線搜索                Baiduspider-mobile 
圖片搜索                Baiduspider-image 
視頻搜索                Baiduspider-video 
新聞搜索                Baiduspider-news 
百度搜藏                Baiduspider-favo 
百度聯盟                Baiduspider-cpro
不少朋友會在自己的網站日志里看到這個蜘蛛Baiduspider-cpro,現在我們明白它是百度聯盟蜘蛛,用以百度聯盟程序匹配相應的廣告。
點擊這里了解更多SEO培訓知識

作者:網站優化,SEO,危機公關