全球主机交流论坛

标题: 最近大家讨论网站的比较多我有个疑问 [打印本页]

作者: 站着噜 时间: 2012-11-9 10:19
标题: 最近大家讨论网站的比较多我有个疑问
怎么屏蔽蜘蛛~nginx 用过map 也判断过头部标识返回444 但是每天还是一堆蜘蛛来爬而且返回的是200....
求破~~~~~~~~~~~~~~别说robots 这东西好像没几个遵守的...

作者: 网警 时间: 2012-11-9 10:23
robots.txt

作者: jjiabinb 时间: 2012-11-9 10:24
DNSPOD,
蜘蛛，单独解析到空ip

作者: topl 时间: 2012-11-9 12:40
爬一下又不会要你的命。

作者: 单手摘月 时间: 2012-11-9 12:47
提示: 作者被禁止或删除内容自动屏蔽

欢迎光临全球主机交流论坛 (https://443502.xyz/)