全球主机交流论坛

标题: 屏蔽百毒爬虫百毒还是一堆搜索结果怎么办 [打印本页]

作者: naohion 时间: 2021-5-6 12:00
提示: 作者被禁止或删除内容自动屏蔽

作者: naohion 时间: 2021-5-6 12:10
提示: 作者被禁止或删除内容自动屏蔽

作者: naohion 时间: 2021-5-6 12:27
提示: 作者被禁止或删除内容自动屏蔽

作者: leven5 时间: 2021-5-6 12:33
robots.txt也不行吗

作者: naohion 时间: 2021-5-6 12:36
提示: 作者被禁止或删除内容自动屏蔽

作者: naohion 时间: 2021-5-6 12:46
提示: 作者被禁止或删除内容自动屏蔽

作者: naohion 时间: 2021-5-6 13:38
提示: 作者被禁止或删除内容自动屏蔽

作者: cheshirex 时间: 2021-5-6 14:15

naohion 发表于 2021-5-6 12:36
最早就是用淘宝https://www.taobao.com/robots.txt的那个

User-agent: Baiduspider

索引要等段时间才更新的。

作者: txjcv 时间: 2021-5-6 14:19
是不是大姐姐网站，然后自己私有享用被爬了

作者: naohion 时间: 2021-5-6 14:43
提示: 作者被禁止或删除内容自动屏蔽

作者: 专业黑人抬棺 时间: 2021-5-6 14:52
如果不是伪装的蜘蛛，那也没办法，本来国内的搜索引擎就很流氓，从不看
robots.txt

比如今日头条，你全屏蔽了它蜘蛛也每天来

作者: cheshirex 时间: 2021-5-6 14:57

naohion 发表于 2021-5-6 14:43
等了一周它还在爬我新文章，而且排名很高，都想把域名卖了

我记得我有个站几个月了才更新。

作者: naohion 时间: 2021-5-6 18:39
提示: 作者被禁止或删除内容自动屏蔽

欢迎光临全球主机交流论坛 (https://443502.xyz/)