兄弟们你们都屏蔽了什么爬虫Bot

worigin · 发表于 2023-9-9 16:38:20

这些垃圾爬虫烦死了，还有啥推荐屏蔽的么

sagerking · 发表于 2023-9-9 16:43:45

屏蔽百度

superEric · 发表于 2023-9-9 16:44:11

robots.txt

WAF

worigin · 发表于 2023-9-9 16:46:08

sagerking 发表于 2023-9-9 16:43
屏蔽百度

还没被百度爱过

mengdodo · 发表于 2023-9-9 17:25:53

if ($http_user_agent ~* (AhrefsBot|SemrushBot|dataforseobot|dotbot|blexbot|wellknownbot|awariobot|phxbot|internet-measurement|gptbot|mj12bot|snapshot)) {
access_log /dev/null;
return 403;
}

		自动登录	找回密码
密码			注册

[美国VPS] 兄弟们 你们都屏蔽了什么爬虫Bot

[美国VPS] 兄弟们你们都屏蔽了什么爬虫Bot