

爬蟲軟件是一種程序,主要用于搜索引擎,它將一個網(wǎng)站的所有內(nèi)容與鏈接進行閱讀,并建立相關(guān)的全文索引到數(shù)據(jù)庫中,然后跳到另一個網(wǎng)站.樣子好像一只大蜘蛛。
當(dāng)人們在網(wǎng)絡(luò)上(如google)搜索關(guān)鍵字時,其實就是比對數(shù)據(jù)庫中的內(nèi)容,找出與用戶相符合的,網(wǎng)絡(luò)爬蟲程序的質(zhì)量決定了搜索引擎的能力,如google的搜索引擎明顯要比百度好,就是因為它的網(wǎng)絡(luò)爬蟲程序高效,編程結(jié)構(gòu)好。
