全球主机交流论坛

标题: 如何屏蔽蜘蛛？？ [打印本页]

作者: IANA 时间: 2011-3-6 17:47
标题: 如何屏蔽蜘蛛？？
如何屏蔽蜘蛛？？

如何从 CENTOS 系统上彻底屏蔽蜘蛛？比如百度蜘蛛。

不是从robots。txt 求解

作者: IANA 时间: 2011-3-6 17:47
或者nginx 如何设置规则

作者: wdlth 时间: 2011-3-6 17:55
判断User-agent

set $islyh 0;
if ( $http_user_agent ~ "^((.*BaiduSpider.*)|(.*Baiduspider.*))$" )
{
set $islhy 1;
proxy_pass http://kannimei.com;
}

[ 本帖最后由 wdlth 于 2011-3-6 18:14 编辑 ]

作者: 大飞机 时间: 2011-3-6 18:02
都高手，还有屏蔽ip

作者: kzcooo 时间: 2011-3-9 10:55
咱都是吸引蜘蛛的。。哎。。

作者: fangxianzhong 时间: 2011-3-9 13:04
分析搜索引擎，发现蜘蛛就封IP

欢迎光临全球主机交流论坛 (https://443502.xyz/)