新做的網(wǎng)站抓取頻次低的原因及解決思路
六道中國 | 發(fā)表于 2019-11-12
網(wǎng)站上線都一個多月了，收錄挺快的，但為什么搜索引擎蜘蛛抓取頻次僅有個位數(shù)呢？這么低的蜘蛛抓取頻次能否完成全站內(nèi)容的爬行及抓取呢？
1、站點(diǎn)內(nèi)容不夠充實(shí)
對于新站而言，當(dāng)前內(nèi)容體積較小，并沒有太多的頁面供蜘蛛抓取。再加上網(wǎng)站系統(tǒng)產(chǎn)生的低質(zhì)量格式化頁面，致使優(yōu)質(zhì)頁面在全站頁面數(shù)量中占比較少。
建議：保持網(wǎng)站內(nèi)容持續(xù)更新，尤其是新做的網(wǎng)站上線初期，網(wǎng)站的更新質(zhì)量以及更新頻率都很重要。試想一下一個內(nèi)容質(zhì)量較高且更新頻繁的站點(diǎn)，有什么理由得不到搜索引擎的青睞，及時提交新產(chǎn)出的資源給搜素引擎，是改善新站抓取頻次過低的第一步。其次搜索引擎盡管對新站的考核力度較大（沙盒效應(yīng)），但在收錄上同樣給新站開辟了綠色通道（網(wǎng)站完成備案信息，合理利用新站保護(hù)扶持）。
2、站點(diǎn)沒有得到足夠的認(rèn)可
新站說白了就是白紙一張，要是內(nèi)容沒有內(nèi)容，要收錄沒有收錄。在這樣的情況下，沒有流量也就沒有數(shù)據(jù)，搜索引擎無法對網(wǎng)站做出評價，因此很難得到搜索引擎的信賴。
建議：隨著網(wǎng)站的持續(xù)經(jīng)營，網(wǎng)站的內(nèi)容不斷擴(kuò)充，蜘蛛抓取就會變得頻繁。新站內(nèi)容建設(shè)固然重要，但需要注意的是，網(wǎng)站大量復(fù)制采集而來的內(nèi)容，很容易導(dǎo)致被判定為低質(zhì)量站點(diǎn)，從而再次降低蜘蛛抓取頻次，甚至是不再抓取。因此需要在保證質(zhì)量的基礎(chǔ)上提高數(shù)量，其次對新站留有足夠的耐心。
優(yōu)化蜘蛛抓取效率提升網(wǎng)站抓取頻次
1、通過外鏈提升網(wǎng)站鏈接被蜘蛛爬行的機(jī)會
搜索引擎蜘蛛的工作原理與爬蟲程序類似，是一個不斷循環(huán)的過程，首先對URL資源列表逐條訪問，其次提取當(dāng)前頁面中的新URL鏈接，接著對新URL鏈接資源進(jìn)行篩選過濾，最后將過濾后剩余的URL資源推送至資源列表。一般情況下高質(zhì)量站點(diǎn)蜘蛛抓取頻繁，而通過外鏈將網(wǎng)站鏈接放置在蜘蛛經(jīng)常訪問的地方，無疑增加了該鏈接被蜘蛛爬行的機(jī)會，思維上與前幾年較為流行的蜘蛛池類似。
2、合理的內(nèi)鏈結(jié)構(gòu)配合Nofollow屬性引導(dǎo)蜘蛛抓取
假設(shè)通過外鏈引來了蜘蛛爬行，那么如何增加站內(nèi)其他URL被抓取的機(jī)會呢？這就需要通過內(nèi)鏈結(jié)構(gòu)優(yōu)化，幫助蜘蛛程序更好的識別抓取站內(nèi)鏈接（面包屑導(dǎo)航、最新文章推送、相關(guān)閱讀推送、標(biāo)簽集合等）。另外對于質(zhì)量較低但卻不能從網(wǎng)站結(jié)構(gòu)中剔除的頁面而言，就需要用到Nofollow引導(dǎo)蜘蛛爬行了，比如首頁上關(guān)于我們，聯(lián)系我們等搜索價值較低的頁面，就可以通過Nofollow提高蜘蛛程序的抓取效率，將抓取機(jī)會留給供重要的頁面。
無論是蜘蛛池還是外鏈都是為了提升蜘蛛爬行機(jī)會，但當(dāng)下的站長工具可以通過多種方式進(jìn)行URL提交，因此站長并不用將太多的精力放到蜘蛛引入上，更需要考慮的是網(wǎng)站內(nèi)容建設(shè)的質(zhì)量，以及站內(nèi)鏈接優(yōu)化是否合理。SEO是一個長期堅(jiān)持的過程，只有堅(jiān)持才會收獲希望，而不是等坐等希望再去堅(jiān)持。
在線幫助
