如何设置才能防止被采集和恶意刷PV?

gdtv

原帖由 xiejiji 于 2009-9-2 01:21 发表
nginx自带可以设置同一个ip最大的连接数啊。或者限制同一ip的线程数啊。

apache也可以的。要安装组件


limit_zone   limit  $binary_remote_addr  10m;
server {
location /download/ {
limit_conn   limit  1;
}
...

一般采集软件都是1个线程，怎么防止？

cpuer

如果一个线程的采集的话那没啥办法了，ban IP吧

freebsd

有些采集软件有特殊的 user_agent  段，一般是自己软件的标志。

先嗅探出 user_agent 字段


if ($http_user_agent ~ xxxx){
deny all;
}

就干掉了

cpuer

如果MSIE的话是不是把用IE的都封杀了？

gdtv

原帖由 freebsd 于 2009-9-2 10:26 发表
有些采集软件有特殊的 user_agent  段，一般是自己软件的标志。

先嗅探出 user_agent 字段


if ($http_user_agent ~ xxxx){
deny all;
}

就干掉了

一般的采集软件默认都是设置成和IE一样的，没有哪个采集软件这么傻设置成自己软件的标志
对，我一搬将user_agent设置成百度蜘蛛，你把百度蜘蛛干掉吧

[ 本帖最后由 gdtv 于 2009-9-2 10:31 编辑 ]

freebsd

原帖由 gdtv 于 2009-9-2 10:29 发表

一般的采集软件默认都是设置成IE的，没有哪个采集软件这么傻设置成自己软件的标志
对，我一搬将user_agent设置成百度蜘蛛，你把百度蜘蛛干掉吧

不过事实上确实是这样，如同很多cc攻击软件就设置成特有标记，很容易就封掉了。

freebsd

还有不一定user_agent段，其他的段也是可以试试的，只要找到特定不同的标识，nginx也有支持的。

gdtv

我自己写的采集都是设置成和IE一样

gdtv

原帖由 freebsd 于 2009-9-2 10:34 发表
还有不一定user_agent段，其他的段也是可以试试的，只要找到特定不同的标识，nginx也有支持的。

请说说是什么段

要不我们实践一下，你开个站，我来采

cpuer