對于很多剛?cè)胄械腟EO優(yōu)化工作人員，本人認(rèn)為，網(wǎng)絡(luò)爬蟲是必須學(xué)習(xí)的基礎(chǔ)知識之一，對于網(wǎng)絡(luò)爬蟲的認(rèn)識和理解，有助于我們?nèi)粘９ぷ髦懈玫娜?yōu)化網(wǎng)站。那么，網(wǎng)絡(luò)爬蟲到底是什么呢？今天客緒方網(wǎng)絡(luò)就這個問題來和大家分析分析。
什么是網(wǎng)絡(luò)爬蟲
首先我們的要知道，什么是網(wǎng)絡(luò)爬蟲。網(wǎng)絡(luò)爬蟲，算是有一定的規(guī)律和習(xí)慣性的互聯(lián)網(wǎng)插件程序或腳本程序 ，它有一定的自我判斷能力，去自動的抓取互聯(lián)網(wǎng)上的信息。對于搜索引擎來講，網(wǎng)絡(luò)爬蟲就是自己去發(fā)現(xiàn)并獲取文檔的一個自動化助理。
網(wǎng)絡(luò)爬蟲誕生的原由
互聯(lián)網(wǎng)信息大爆炸，人們不滿足于僅僅依靠開放目錄等傳統(tǒng)方式在網(wǎng)絡(luò)上尋找一些東西，為了滿足不同的人的不同需求，于是出現(xiàn)了網(wǎng)絡(luò)爬蟲。
網(wǎng)絡(luò)爬蟲面臨的問題
搜索引擎架構(gòu)的兩個目標(biāo)是效果和效率，這同樣也是對網(wǎng)絡(luò)爬蟲提出的要求。面對億級網(wǎng)頁數(shù)量，重復(fù)內(nèi)容很高，在SEO行業(yè)重復(fù)率可能在50%以上，網(wǎng)絡(luò)爬蟲面臨的問題是為了提高效率和效果，就需要在一定的時間內(nèi)獲得更多有高質(zhì)量頁面，摒棄那些原創(chuàng)度低、復(fù)制內(nèi)容、拼接內(nèi)容等頁面。
網(wǎng)絡(luò)爬蟲的分類
網(wǎng)絡(luò)爬蟲其實有很多種類，通用、聚焦、增量式、DeepWeb等網(wǎng)絡(luò)爬蟲。
1.通用網(wǎng)絡(luò)爬蟲
通用網(wǎng)絡(luò)爬蟲，又稱為“全網(wǎng)爬蟲”，從一些種子網(wǎng)站開始爬行，逐步擴展到整個互聯(lián)網(wǎng)。通用網(wǎng)絡(luò)爬蟲策略，就是深度優(yōu)先策略和廣度優(yōu)先策略。
2.聚焦網(wǎng)絡(luò)爬蟲
聚焦網(wǎng)絡(luò)爬蟲，又稱為“主題網(wǎng)絡(luò)爬蟲”，預(yù)先選擇一個(或幾個)相關(guān)主題，僅爬行并抓取這一類的相關(guān)頁面。聚焦網(wǎng)絡(luò)爬蟲策略，聚焦網(wǎng)絡(luò)爬蟲增加了鏈接和內(nèi)容評價模塊，所以其爬行策略的關(guān)鍵是評價頁面的鏈接和內(nèi)容后再進行爬行。
3.增量式網(wǎng)絡(luò)爬蟲
增量式網(wǎng)絡(luò)爬蟲，是指對已經(jīng)收錄的頁面進行更新、爬行新頁面和發(fā)生變化的頁面。增量式網(wǎng)絡(luò)爬蟲策略，廣度優(yōu)先策略和PageRank優(yōu)先策略等。
4. Deep Web爬蟲
搜索引擎蜘蛛可以爬行并抓取的頁面稱之為“表層網(wǎng)頁”，某些不能通過靜態(tài)鏈接獲得的頁面稱之為“深層網(wǎng)頁”，Deep Web爬蟲就是抓取深層網(wǎng)頁的爬蟲體系。
網(wǎng)絡(luò)爬蟲的策略
一般來講，網(wǎng)絡(luò)爬蟲抓取策略分為三種、廣度優(yōu)先搜索完當(dāng)前頁面所有鏈接，才開始進入下一層。最佳優(yōu)先，根據(jù)一定的網(wǎng)頁分析算法，比如鏈接算法和頁面加權(quán)算法等，優(yōu)先抓取更具有價值的頁面。深度優(yōu)先，順著一個鏈接一直爬行，直到某一頁面再也沒有鏈接，再開始爬行另外一條。但是一般都是從種子網(wǎng)站開始抓取，如果采用這種形式可能會造成抓取的頁面質(zhì)量越來越低，所以這種策略使用較少。
