我們經(jīng)常會(huì)發(fā)現(xiàn)搜索引擎優(yōu)化爬蟲(chóng)都非常喜歡爬取首頁(yè)，以前認(rèn)為大量爬取首頁(yè)是好事，因?yàn)楦碌奈恼陆?jīng)常在首頁(yè)出現(xiàn)，可以被快速收錄。現(xiàn)在看來(lái)，從局部上看是好事，但是從整體上看，爬蟲(chóng)每次爬取量都是有限的，抓到一定數(shù)據(jù)量就會(huì)離開(kāi)。所以許多有價(jià)值的頁(yè)面反而沒(méi)被抓取到。
在這種情況下，在站內(nèi)的某個(gè)頁(yè)面被鏈接次數(shù)越多，它被爬蟲(chóng)抓取的頻率就越高，最典型的例子就是首頁(yè)。因此我們根據(jù)數(shù)據(jù)，把爬蟲(chóng)大量鏈接的頁(yè)面，在站內(nèi)許多地方都給nofollow掉，只留個(gè)別鏈接，保證爬蟲(chóng)以前抓取它一兩次即可。這樣在被抓取數(shù)據(jù)量一定的情況下，減少了單一頁(yè)面浪費(fèi)的爬蟲(chóng)流量，自然增大了爬蟲(chóng)爬取的頁(yè)面數(shù)量。這樣你的網(wǎng)站更新頻率自然提高。