資訊動態(tài)
網(wǎng)站爬行策略
發(fā)布：2021-08-21 12:51:14 瀏覽：4120
網(wǎng)站爬行策略。全互聯(lián)網(wǎng)是由相互鏈接的網(wǎng)站及頁面組成的。從理論上說，爬蟲從任何一個頁面出發(fā)，沿著鏈接都可爬完網(wǎng)上的所有頁面。由于網(wǎng)站及頁面具有非常復雜的鏈接結(jié)構(gòu)，爬蟲需要采取一定的爬行策略才能爬完網(wǎng)上所有頁面。實現(xiàn)一個完善的爬蟲系統(tǒng)，爬行策略至關(guān)重要。
爬行策略有如下幾種：深度優(yōu)先爬行策略是爬蟲沿著發(fā)現(xiàn)的鏈接先爬取一個網(wǎng)頁，然后一直往前爬行，爬行到前面再也沒有其他鏈接為止，然后在返回到第一個頁面，沿著另一個鏈接再一直往前爬行。如圖1所示，爬取的順序是A→D→E→B→C→F→G；廣度優(yōu)先爬行策略：是指爬蟲在一個頁面上發(fā)現(xiàn)多個網(wǎng)絡(luò)鏈接時，不是沿著一個網(wǎng)絡(luò)鏈接一直向前爬行，而是先把頁面上同一層次鏈接都爬一遍，然后再沿著第二層頁面上發(fā)現(xiàn)的鏈接爬向第三層頁面。
爬取的順序是A→B→C→D→E→F→G；大站優(yōu)先爬行策略是對于準備抓取地址隊列中的所有網(wǎng)頁，把其根據(jù)所屬的網(wǎng)站進行分類，優(yōu)先爬取網(wǎng)站的網(wǎng)頁數(shù)量比其他多的網(wǎng)站。反鏈爬行策略是指的是一個網(wǎng)頁被其他網(wǎng)頁鏈接指向的數(shù)量，當某個網(wǎng)頁的內(nèi)容受到其他人的推薦的程度高，這種網(wǎng)頁被優(yōu)先爬取。
>>> 查看《網(wǎng)站爬行策略》更多相關(guān)資訊 <<<
本文地址：http://scmenchuang.cn/news/html/28159.html
上一個：提高網(wǎng)站公眾服務(wù)力度
下一個：網(wǎng)站的社會價值分析
