全球主机交流论坛

标题: 一个新站，这是不是百度蜘蛛在爬 [打印本页]

作者: mha 时间: 2021-4-12 13:35
标题: 一个新站，这是不是百度蜘蛛在爬

作者: 柳逸寒 时间: 2021-4-12 13:35
关站保平安啊老哥

作者: mha 时间: 2021-4-12 13:36

柳逸寒发表于 2021-4-12 13:35
关站保平安啊老哥

为什么要关呢

作者: 怪人 时间: 2021-4-12 13:37
采集loc么

作者: 流交机主球全 时间: 2021-4-12 13:39
在采论坛帖子吗

作者: mha 时间: 2021-4-12 13:44

流交机主球全发表于 2021-4-12 13:39
在采论坛帖子吗

没，只是截图伪装用hostloc域名

作者: aRNoLD 时间: 2021-4-12 13:48

# 屏蔽非正能量蜘蛛爬虫
if ($http_user_agent ~* (LieBaoFast|UCBrowser|Mb2345Browser|SEMrushBot|360Spider|百度之流全写这里……) ) {
return 403;
}

复制代码

我一般是这样处理这些不顺眼的蜘蛛的。

nginx代码

欢迎光临全球主机交流论坛 (https://443502.xyz/)