全球主机交流论坛

标题: 我的网站是做给蜘蛛看的 [打印本页]

作者: gdtv    时间: 2009-8-15 14:19
标题: 我的网站是做给蜘蛛看的
来访者全部是蜘蛛,没有一个真人
作者: zyypp    时间: 2009-8-15 15:07
呵呵 我在查看 web 日志时 得到的IP 几乎也都是些 爬虫 不过 我只放了一个页面 嘿嘿
作者: cpuer    时间: 2009-8-16 20:01
Google和sougou的蜘蛛是最会爬的,小心服务器被爬挂。
作者: fanslive    时间: 2009-8-18 08:45
我的蜘蛛访问通常一天要耗费流量至少5G。
我一个月到底流量能用光,蜘蛛太强大了!
作者: phpwinder    时间: 2009-8-18 09:58
标题: 回复 3# 的帖子
是啊,我的HM主机都被爬死过。
作者: cpuer    时间: 2009-8-18 10:24
标题: 回复 5# 的帖子
有些搜索引擎蜘蛛很厉害,但是不来流量的话可以屏蔽掉。
作者: cpuer    时间: 2009-8-18 10:25
原帖由 fanslive 于 2009-8-18 08:45 发表
我的蜘蛛访问通常一天要耗费流量至少5G。
我一个月到底流量能用光,蜘蛛太强大了!


我知道你是强人
作者: 微笑着吃饭    时间: 2009-8-21 20:10
robot.txt

作者: cpuer    时间: 2009-8-22 11:33
标题: 回复 8# 的帖子
还得靠搜索引擎来些流量呢
作者: zyypp    时间: 2009-8-22 11:43
标题: 回复 8# 的帖子
有些 爬虫 不守规矩 无视robot.txt的
对付这些不守规矩爬虫 最好的方法就是 屏蔽他 嘿嘿
作者: cpuer    时间: 2009-8-22 11:45
标题: 回复 10# 的帖子
难道你的说的众里寻他千****?
作者: zyypp    时间: 2009-8-22 11:48
标题: 回复 11# 的帖子
...........C大 重要部分 你还 打马赛克啊 嘿嘿
作者: cpuer    时间: 2009-8-22 17:06
标题: 回复 12# 的帖子
必须的,怕怕
作者: aaaaaa    时间: 2009-8-26 17:21
原帖由 cpuer 于 2009-8-22 17:06 发表
必须的,怕怕


哈哈..这也怕怕..
你只要说了之后然后再后面加一句
百度,我爱你。
然后ok了
作者: zyypp    时间: 2009-8-26 17:31
标题: 回复 14# 的帖子
⊙﹏⊙b汗....................
作者: daigouadmin    时间: 2010-3-28 01:48
标题: 回复 14# 的帖子

作者: zyypp    时间: 2010-3-28 08:43
标题: 回复 16# 的帖子
ls的不厚道啊 竟然挖坟 ⊙﹏⊙b汗
欺骗我的点击 ~~~~(>_<)~~~~

作者: 李院长    时间: 2010-3-28 09:53

作者: toapple    时间: 2010-3-29 13:50
我靠。。。老帖子啊。、
作者: godvps    时间: 2010-3-30 16:18
原帖由 toapple 于 2010-3-29 13:50 发表
我靠。。。老帖子啊。、





欢迎光临 全球主机交流论坛 (https://443502.xyz/) Powered by Discuz! X3.4