lnmp的蜘蛛问题

lovejk8 · 发表于 2011-5-6 18:16:00

一键安装LNMP
用的伪原创，做了301，网站运转正常，不带WWW有可以正常跳，规则：

server
{
server_name 120j9.com;

rewrite ^(.*) http://www.120j9.com$1 permanent;

}

分析日志：
……
[06/May/2011:17:42:53 +0800] "GET /ask/38226.html HTTP/1.1" 301 185 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
123.125.71.53 - - [06/May/2011:17:42:57 +0800] "GET /ask/38224.html HTTP/1.1" 301 185 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
123.125.71.58 - - [06/May/2011:17:43:00 +0800] "GET /ask/38231.html HTTP/1.1" 301 185 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
123.125.71.47 - - [06/May/2011:17:43:00 +0800] "GET /ask/38236.html HTTP/1.1" 301 185 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
123.125.71.46 - - [06/May/2011:17:43:04 +0800] "GET /ask/38228.html HTTP/1.1" 301 185 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
123.125.71.55 - - [06/May/2011:17:43:06 +0800] "GET /ask/38243.html HTTP/1.1" 301 185 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
123.125.71.56 - -
……
全**的， 301 185
怎么蜘蛛全是从不带WWW的进入呢？大量这个的会不会有影响？怎么见不到一个200呢？

还有一部分蜘蛛：
[06/May/2011:17:43:42 +0800] "GET /ask/38226.html HTTP/1.0" 301 185 "http://120j9.com/ask/38226.html" "HuaweiSymantecSpider/1.0+[email protected]+(compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR ; http://www.huaweisymantec.com/en/IRL/spider)"
69.28.58.7 - - [06/May/2011:17:44:04 +0800] "GET /ask/38229.html HTTP/1.0" 301 185 "http://120j9.com/ask/38229.html" "Huaweisymantecspider (compatible; MSIE 8.0; [email protected])"

huaweisymantec也很多，“ "GET /ask/38226.html HTTP/1.0" 301 185 "http://120j9.com/ask/38226.html" ”这是什么意思啊？

wdlth · 发表于 2011-5-6 18:24:49

华为赛门铁克，应该是监控不良网站（钓鱼欺诈之类的）

lovejk8 · 发表于 2011-5-6 19:06:46

谢谢！
"GET /ask/38226.html HTTP/1.0" 301 185 "http://120j9.com/ask/38226.html"
这前面GET过了，后面怎么又来了个HTTP://
什么意思呢

有个就好 · 发表于 2011-5-6 19:16:44

reffer URL

lovejk8 · 发表于 2011-5-6 22:08:46

这个301是不是有问题啊，对蜘蛛有没有影响啊？

lovejk8 · 发表于 2011-5-9 09:27:33

快来人啊，每天蜘蛛1500+
全是301 185 怎么办啊？一个200都没有

只看该作者 · 发表于 2011-5-9 09:41:33

提示: 作者被禁止或删除内容自动屏蔽

mslxd · 发表于 2011-5-9 09:57:03

你自己访问试试看啊

95147 · 发表于 2011-5-9 10:10:58

模拟蜘蛛访问看看~

lovejk8 · 发表于 2011-5-9 13:40:11

访问正常啊

		自动登录	找回密码
密码			注册

sunshine 该用户已被删除	7^# 发表于 2011-5-9 09:41:33 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
sunshine 该用户已被删除
	回复支持反对举报

[疑问] lnmp的蜘蛛问题

回复 2# 的帖子

回复 8# 的帖子

浏览过的版块