apache、iis規則屏蔽攔截蜘蛛抓取

Linux下規則文件.htaccess(手工創建.htaccess文件到站點根目錄)

RewriteEngineOn#BlockspiderRewriteCond%{HTTP_USER_AGENT}"semrushBot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu"[NC]RewriteRule!(^robots\.txt$)-[F]

Windows2008、2012或更高系統下規則文件web.config(手工創建web.config文件到站點根目錄)

注：“{HTTP_USER_AGENT}”所在行中是不明蜘蛛名稱，根據需要添加以"|"為分割。
規則中默認屏蔽部分不明蜘蛛，要屏蔽其他蜘蛛按規則添加即可,附各大蜘蛛名字：
google蜘蛛：googlebot
百度蜘蛛：baiduspider
百度手機蜘蛛：baiduboxapp
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
bing蜘蛛：bingbot
altavista蜘蛛：scooter
lycos蜘蛛：lycos_spider_(t-rex)
alltheweb蜘蛛：fast-webcrawler
inktomi蜘蛛：slurp
有道蜘蛛：YodaoBot和OutfoxBot
熱土蜘蛛：Adminrtspider
搜狗蜘蛛：sogou spider
SOSO蜘蛛：sosospider
360搜蜘蛛：360spider

apache、iis屏蔽限制ip訪問(適用虛擬主機)