網(wǎng)絡(luò)爬蟲的爬行策略

1、PartialPageRank策略

PartialPageRank算法借鑒了PageRank算法的思想：對于已經(jīng)下載的網(wǎng)頁，連同待抓取URL隊(duì)列中的URL，形成網(wǎng)頁集合，計(jì)算每個(gè)頁面的PageRank值，計(jì)算完之后，將待抓取URL隊(duì)列中的URL按照PageRank值的大小排列，并按照該順序抓取頁面。

如果每次抓取一個(gè)頁面，就重新計(jì)算PageRank值，一種折中方案是：每抓取K個(gè)頁面后，重新計(jì)算一次PageRank值。但是這種情況還會(huì)有一個(gè)問題：對于已經(jīng)下載下來的頁面中分析出的鏈接，也就是我們之前提到的未知網(wǎng)頁那一部分，暫時(shí)是沒有PageRank值的。為了解決這個(gè)問題，會(huì)給這些頁面一個(gè)臨時(shí)的PageRank值：將這個(gè)網(wǎng)頁所有入鏈傳遞進(jìn)來的PageRank值進(jìn)行匯總，這樣就形成了該未知頁面的PageRank值，從而參與排序。

2、寬度優(yōu)先遍歷策略

寬度優(yōu)先遍歷策略的基本思路是，將新下載網(wǎng)頁中發(fā)現(xiàn)的鏈接直接插入待抓取URL隊(duì)列的末尾。也就是指網(wǎng)絡(luò)爬蟲會(huì)先抓取起始網(wǎng)頁中鏈接的所有網(wǎng)頁，然后再選擇其中的一個(gè)鏈接網(wǎng)頁，繼續(xù)抓取在此網(wǎng)頁中鏈接的所有網(wǎng)頁。

3、大站優(yōu)先策略

對于待抓取URL隊(duì)列中的所有網(wǎng)頁，根據(jù)所屬的網(wǎng)站進(jìn)行分類。對于待下載頁面數(shù)多的網(wǎng)站，優(yōu)先下載。這個(gè)策略也因此叫做大站優(yōu)先策略。

4、反向鏈接數(shù)策略

反向鏈接數(shù)是指一個(gè)網(wǎng)頁被其他網(wǎng)頁鏈接指向的數(shù)量。反向鏈接數(shù)表示的是一個(gè)網(wǎng)頁的內(nèi)容受到其他人的推薦的程度。因此，很多時(shí)候搜索引擎的抓取系統(tǒng)會(huì)使用這個(gè)指標(biāo)來評價(jià)網(wǎng)頁的重要程度，從而決定不同網(wǎng)頁的抓取先后順序。

在真實(shí)的網(wǎng)絡(luò)環(huán)境中，由于廣告鏈接、作弊鏈接的存在，反向鏈接數(shù)不能完全等他我那個(gè)也的重要程度。因此，搜索引擎往往考慮一些可靠的反向鏈接數(shù)。

5、OPIC策略策略

該算法實(shí)際上也是對頁面進(jìn)行一個(gè)重要性打分。在算法開始前，給所有頁面一個(gè)相同的初始現(xiàn)金（cash）。當(dāng)下載了某個(gè)頁面P之后，將P的現(xiàn)金分?jǐn)偨o所有從P中分析出的鏈接，并且將P的現(xiàn)金清空。對于待抓取URL隊(duì)列中的所有頁面按照現(xiàn)金數(shù)進(jìn)行排序。

6、深度優(yōu)先遍歷策略

深度優(yōu)先遍歷策略是指網(wǎng)絡(luò)爬蟲會(huì)從起始頁開始，一個(gè)鏈接一個(gè)鏈接跟蹤下去，處理完這條線路之后再轉(zhuǎn)入下一個(gè)起始頁，繼續(xù)跟蹤鏈接。