如何讓網站頁面內容不被抓取?

分類:新聞資訊 作者:原創文章代寫 發布:2014-10-10
可能有的朋友會奇怪,網站的頁面不是讓搜索引擎抓的越多越好嗎,怎么還會有怎么讓網站頁面內容不被抓取的想法。

首先,一個網站可以分出去的權重是有限,哪怕是Pr10的站,也不可能無限的分權重出去。這權重包括鏈到別人網站的處鏈以及自己網站內的內鏈。

外鏈的話,原創文章代寫認為除非是想坑被鏈的人。否則外鏈都是需要讓搜索引擎所抓取。這不在本文討論范圍之內。

而內鏈,因為有些網站有不少重復或冗余的內容。比如一些按條件查詢的搜索結果。特別是一些B2C站,在專門查詢頁或在所有產品頁面的某個位置內,都可以按產品類型,型號,顏色,大小等進行分類搜索。這些頁面雖然對瀏覽者來說是極大的方便,但對搜索引擎來說,這可是耗費蜘蛛極大的抓取時間,特別是網站頁面較多時。同時也會分散頁面權重,對SEO不利。

另外網站管理登陸頁面,備份頁面,測試頁面等等,也是站長不想讓搜索引擎所收錄的。

所以就有需要讓網頁的某些內容,或某些頁面不被搜索引擎所收錄。

下面筆者先介紹一下較為有效的幾種方法:

1.在FLASH展示不想被收錄的內容

眾所周知,搜索引擎對FLASH的內容抓取能力有限,不能完全抓取所有FLASH內的所有內容。但遺憾的是,也不能完全保證FLASH的所有內容都不會被抓取。因為谷歌和Adobe正努力的實現FLASH抓取技術。

2.使用robos文件

這是暫時最有效的方法,但有個很大的缺點。就是不傳出任何的內容及鏈接。大家知道,在SEO來說比較健康的頁面應該是有進有出的。有外鏈的鏈入,同時也頁面內也需要有鏈到外部網站的鏈接,所以robots文件控制,讓此頁面只進不出,搜索引擎也不知道內容是什么。會把此頁定為低質量頁面。權重有可能受一定的懲罰。這個多用于網站管理頁面,測試頁面等。

3.使用nofollow標簽包裹不想被收錄的內容

這個方法也不能完全保證不被收錄,因為代寫文章并不是嚴格要求遵守的標簽。另外,如果有外部網站鏈向了有nofollow標簽的頁面。這樣就很有可能會被搜索引擎抓取。

4.用Meta Noindex標簽加上follow標簽

這個方法可以做到防止收錄而且還能傳遞出權重。要不要傳遞,看網站建設站長自己的需要。這個方法的缺點是,也是會較大的浪費蜘蛛的抓取頁面時間。

5.用robots文件的同時在頁面上使用iframe標簽展示需要搜索引擎收錄的內容

robots文件可以阻止iframe標簽以外的內容被收錄。所以,可以把不想收錄的內容放到正常頁面標簽下。而想被收錄的內容放在iframe標簽內。

緊接著,再說一下已經失效的方法,大家以后不要用這些方法了。

1.使用表格

谷歌和百度早已經能抓取表格用的內容了,無法阻止收錄。

2.使用Javascript及Ajax技術

以現在的技術來說,Ajax和javascript現在的最終運算的結果還是以HTML的形式傳給瀏覽器以作顯示,所以這同樣無法阻止收錄。

初學者大多著眼于如何收錄,但細節決定成敗。怎么讓網站頁面內容不被抓取也是SEO進階人士需要注意的。

作者: 飛天原創文章代寫
版權所有。轉載時必須以鏈接形式注明作者和原始出處及本聲明。
-

關于我們

飛天代寫網是國內老牌的原創文章代寫團隊 – 專業寫原創。因為專注,所以專業。

團隊擁有具備專業網站優化的工作人員,二十多名專業寫手均具備良好的文學素養和較高的寫作能力,技術與能力的結合定能為您輸出源源不斷的高質量SEO原創文章。

飛天代寫網致力于解決目前中國大多企業網站花費巨資建設和優化但卻沒人管理的難題,想讓網站活躍起來,必須要定期的進行文章加入且必須是原創。

通過更新高質量原創文章,可以做到增加網站收錄、提升網站權重、提高網站在百度等搜索引擎上的排名與恢復被K或降權的網站。

點我進行咨詢吧

我們一直為大家提供日臻完善的服務和高質量原創文章,新老客戶都知道。

致還在猶豫的您:

您是否為網站里的原創文章內容發愁?

每天忙碌之后還要抽空去寫原創文章?

或者您根本沒有寫作這方面的天賦?

那么您是否需要一名全職的網站編輯呢?

如果還有比這個更簡單,更輕松的方式您可不能錯過!

那就是選擇飛天代寫網!

我們來幫您解決這一切煩惱!

做您最貼心,最專業的原創文章編輯。
您的時間,應該用在做更有價值的事情上。

-
飛天原創文章代寫網包月代更新服務 飛天原創文章代寫網 外鏈代發
客服QQ:281391381,點我進行咨詢吧聯系電話:18698885271 網站地圖 原創代寫 作文、微信文章代寫代更新 關鍵詞描述代寫 影評自媒體文章代寫代更新
Copyright © 2012-2014 Inc. 遼ICP備10017769號-最后更新:2020年02月17日 11:14:50今日頭條文章代寫 淘寶達人/頭條文章代寫 京東頭條文章代寫

飛天SEO原創文章代寫網是國內老牌、專業的原創代寫文章網站,提供各行各業原創軟文代寫服務,100%高質量原創網站文章代寫輕松助您關鍵詞排名上升,網站權重提高,實現共贏!

代寫文章
51678棋牌金蟾捕鱼