YY 下今天百度蜘蛛爬得的时候遇到大量404 会不会提前来大姨

lixuguang.xy · 发表于 2012-4-12 12:26:19

鸭梨很大 · 发表于 2012-4-12 12:40:51

提示: 作者被禁止或删除内容自动屏蔽

Kokgog · 发表于 2012-4-12 12:32:58

不会的,百度蜘蛛无视墙的............而且就算被墙了,也是timeout,读不到404.........

花篮的花儿 · 发表于 2012-4-12 12:27:32

今天百度蜘蛛的大姨妈也来了，请假休息一天

		自动登录	找回密码
密码			注册

[lighttpd] YY 下今天百度蜘蛛爬得的时候遇到大量404 会不会提前来大姨