Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是“網(wǎng)絡爬蟲排除標準”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots協(xié)議的本質(zhì)是網(wǎng)站和搜索引擎爬蟲的溝通方式，用來指導搜索引擎更好地抓取網(wǎng)站內(nèi)容，更好的保護用戶的隱私和版權(quán)信息。

　　Robots協(xié)議可能給我們網(wǎng)站帶來的好處：

　　1、 可以制止不必要的搜索引擎占用服務器的寶貴帶寬，例如，E-MAIL這類搜索引擎對大多數(shù)網(wǎng)站是沒有意義的；再有像image strippers，對于大多數(shù)非圖形類網(wǎng)站來說也沒有太大的意義，但是卻耗用了大量的帶寬。

　　2、 可以制止搜索引擎對非公開頁面的爬行與索引，如網(wǎng)站的后臺程序、管理程序，事實上，對于某些在運行中面臨頁面的網(wǎng)站來說，如果沒有配置robots協(xié)議，搜索引擎甚至會索引那些臨時文件。

　　Robots協(xié)議可能給我們帶來的風險：

　　給攻擊者指明了網(wǎng)站的目錄結(jié)構(gòu)和私密數(shù)據(jù)的所在位置。雖然在WEB服務器的安全措施配置得當?shù)那疤嵯逻@不是很大的問題，但是降低了那些不懷好意者的攻擊難度。

　　Robots協(xié)議可以保護網(wǎng)絡安全，以免網(wǎng)絡陷入混亂的狀態(tài)，可以在信息多元化的時代為網(wǎng)絡傳播保駕護航。