有沒有擔心過自己的隱私會在強大的搜索引擎面前無所遁形？想象一下，如果要向世界上所有的人公開你的私人日記，你能接受嗎？的確是很矛盾的問題，站長們大都憂慮“如何讓搜索引擎收錄的我的網站？”，而我們還是要研究一下“如何讓搜索引擎不收錄我們的網站”，也許我們同樣也用的到。
一、搜索引擎如何工作的？
簡單的說，搜索引擎實際上依靠的龐大的網頁數據庫。按搜索方式可以分為全文搜索和目錄搜索兩種。
所謂全文搜索，是搜索引擎通過從網頁自動提取信息來建立數據庫的過程。至于提取的原理，就是seo狂熱者們所研究的算法，在他們的理想情況下，網頁應該是針對搜索引擎設計的，具有最好的收錄效果。當然，不是本文的話題。搜索引擎的自動信息搜集功能分兩種。一種是定期搜索，即每隔一段時間（比如Google一般是28天），搜索引擎主動派出“蜘蛛”程序，對一定IP地址范圍內的互聯網站進行檢索，一旦發現新的網站，它會自動提取網站的信息和網址加入自己的數據庫。另一種是提交網站搜索，即網站擁有者主動向搜索引擎提交網址，它在一定時間內（2天到數月不等）定向向你的網站派出“蜘蛛”程序，掃描你的網站并將有關信 息存入數據庫，以備用戶查詢。
與全文搜索引擎相比，目錄索引有許多不同之處。目錄索引完全是手工操作的。
首先，搜索引擎屬于自動網站檢索，而目錄索引則完全依賴手工操作。用戶提交網站后，目錄編輯人員會親自瀏覽你的網站，然后根據一套自定的評判標準甚至編輯人員的主觀印象，決定是否接納你的網站。
其次，搜索引擎收錄網站時，只要網站本身沒有違反有關的規則，一般都能登錄成功。而目錄索引對網站的要求則高得多，有時即使登錄多次也不一定成功。尤其象Yahoo!這樣的超級索引，登錄更是困難。
最后，搜索引擎中各網站的有關信息都是從用戶網頁中自動提取的，所以用戶的角度看，我們擁有更多的自主權；而目錄索引則要求必須手工另外填寫網站信息，而 且還有各種各樣的限制。更有甚者，如果工作人員認為你提交網站的目錄、網站信息不合適，他可以隨時對其進行調整，當然事先是不會和你商量的。
目錄索引，顧名思義就是將網站分門別類地存放在相應的目錄中，因此用戶在查詢信息時，可選擇關鍵詞搜索，也可按分類目錄逐層查找。如以關鍵詞搜索，返回的結果跟搜索引擎一樣，也是根據信息關聯程度排列網站，只不過其中人為因素要多一些。
二、如何拒絕搜索引擎？
其實很簡單的，只需要在網站的根目錄中放一個名稱為Robots.txt的文件，該文件的寫法很有講究的哦，務必按要求寫，寫法如下：
1、什么是Robots.txt？
Robots.txt是一個文本文件，關鍵是這個文件所在的位置：在網站的根目錄下。弄錯了，就不起作用了！
2、Robots.txt如何起作用?
前面提到過搜索引擎的自動提取信息會遵循一定的算法，但是，無論算法如何，靠前步都是在尋找這個文件。其含義是，“貴站對我們這些Robots有什么限制？”所謂的Robots就是搜索引擎派出的蜘蛛或者機器人。如果沒有得到回應（沒有找到這個文件），代表沒有什么限制，盡管來抓取吧。如果真的有這個文件，機器人會讀來看看，如果自己被拒絕就會停止抓取過程了。
3、怎么寫Robots.txt文件？
遵循語法的Robots.txt才可能被機器人識別，至于語法，介紹起來很繁瑣，現簡單舉例如下：
1）禁止所有搜索引擎訪問網站的任何部分（也就是網站徹底的拒絕所有搜索引擎收錄）
User-agent:*Disallow:/
2）允許所有的robot訪問（也就是網站允許所有搜索引擎收錄）
User-agent:*Disallow:
3）禁止某個搜索引擎的訪問（比如禁止百度收錄，按如下的方式寫）
User-agent:baiduspiderDisallow:/
4）允許某個搜索引擎的訪問（比如允許百度收錄，按如下的方式寫）
User-agent:baiduspiderDisallow:User-agent:*Disallow:/
5）禁止搜索引擎訪問某些目錄
User-agent:*Disallow:/cgi-bin/Disallow:/tmp/Disallow:/images/
使用方法：很簡單，將代碼存為一個文本文件，命名為Robots.txt ，放在網頁根目錄即可。
注意：所有語句都是單規則的，即每行僅聲明一條規則，比如例五中三個目錄必須分三行列出來。
本文由 貴州做網站公司 整理發布，部分圖文來源于互聯網，如有侵權，請聯系我們刪除，謝謝！
這是陽光明媚的一天，互聯網里風平浪靜，一切都是欣欣向榮。我就是在這樣一個平凡的日子里誕生了。我給自己起了個名字叫超，不過我的師哥師姐們都喜歡叫我小超。從出生的那...
網上關于SEO優化的知識很多也很雜，很多新手都不知道如何選擇。本來耗子網站里每篇文章都有的詳細步驟的，考慮到很雜，于是耗子對各種SEO優化基礎知識進行了整理，但...
今天，我給大家講講如何利用電影貼吧引流輕松變現。這個很適合新手。廢話不多說，直接上干貨。每上映一個新片子，只要這個片子有一定的熱度，馬上該片子的貼吧就會出現各種...
360與百度：網站優化的區別在如今互聯網高速發展的時代，網站優化已經成為企業競爭的一部分。而360和百度作為兩個主流搜索引擎，對于網站優化有著不同的需求和要求。本文將從關鍵詞、鏈接和內容三個方面來分析兩者之間的區別，幫助大家更好的進行網站優化。一：關鍵詞選取360重視用戶搜索行為百度強調關鍵詞密度360搜索引擎重視用戶搜索行為，因此在進行網站優化時需要考慮用戶搜索的需求。而百度則強調關鍵詞的密度，...
SEO優化推廣需要投入多少？1.實際上，在SEO優化方面，沒有關于網站優化的價格。因為價格和很多因素有關。由于行業和企業具有不同的優化因子，無法準確地確定價格。2.如果您希望了解關鍵詞優化的價格，您還可以從網站獲得搜索結果。分析網站，可以了解到關鍵詞優化的難度。若關鍵詞占主導地位，就能很難理解關鍵詞優化，所需要的優化價格將非常高。3.在SEO領域，它們的優化能力參差不齊，導致不同的優化價格。容量越...
隨著互聯網的不斷發展，越來越多的企業開始注重網站SEO優化。網站關鍵詞排名優化是SEO優化的重要方面之一。本文將介紹網站百度SEO優化策略、網站百度SEO排名優化的6個方法、網站標題優化的3個要點、網站收錄少的5個原因、網站被降權的6大因素以及網站優化排名。要想優化網站關鍵詞排名，就必須了解百度SEO優化策略。這包括優化網站結構、提高內容質量、增加外部鏈接、使用關鍵詞等。只有針對這些方面進行綜合優...
免責聲明：本站內容僅用于學習參考，信息和圖片素材來源于互聯網，如內容侵權與違規，請聯系我們進行刪除，我們將在三個工作日內處理。聯系郵箱：1051388971#qq.com （把#換成@）
