百度用來抓取網(wǎng)頁內(nèi)容的程序，叫做Baiduspider，抓取其他內(nèi)容的蜘蛛，則是新的名字：

網(wǎng)頁搜索Baiduspider

百度搜藏Baiduspider-favo

無線搜索Baiduspider-mobile

視頻搜索Baiduspider-video

百度聯(lián)盟Baiduspider-cpro

圖片搜索Baiduspider-image

不少朋友會在自己的網(wǎng)站日志里看到這個蜘蛛Baiduspider-cpro，企業(yè)網(wǎng)站建設，現(xiàn)在我們明白它是百度聯(lián)盟蜘蛛，用以百度聯(lián)盟程序匹配相應的廣告。

產(chǎn)品名稱對應user-agent

新聞搜索Baiduspider-news

    百度是如何收錄到那么多網(wǎng)頁的呢？這個百度用以抓取互聯(lián)網(wǎng)上數(shù)以億計的網(wǎng)頁的程序，就叫做Baiduspider-百度蜘蛛。

它是一個程序，論壇門戶網(wǎng)站建設，夜以繼日得在互聯(lián)網(wǎng)上找尋新的URL，企業(yè)網(wǎng)站建設，接著抓取URL上的內(nèi)容，返回到百度的網(wǎng)頁暫存數(shù)據(jù)庫。