全球主机交流论坛

标题: 火车头，怎么能让他不自己获取内容页面地址？ [打印本页]

作者: joyanhui 时间: 2012-12-20 09:56
标题: 火车头，怎么能让他不自己获取内容页面地址？
本帖最后由 joyanhui 于 2012-12-20 10:08 编辑

对方网站内容地址 http://www.123.com/show.asp?id=1 一直到 http://www.123.com/show.asp?id=500000

所以我直接无视他的列表页，直接从内容获取分类，然后打算花直接从id=1 跑到id=50W。

我在火车头里面添加了采集网址规则从1-500000 步进是1

成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3024
成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3025
成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3026
成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3027
成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3028
成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3029

复制代码

但是它竟然4-5秒才保存一次，而且一次只添加20个左右。到现在才添加了3000多个。。。。

虽然vps上挂机跑的，不费电，但是浪费时间。。。。求加速！！我不想到世界末日还没有添加完网址。

======================================================
刚刚发完帖子想起来，50万个地址分成了10分，一份5万，一边采集一边生成内容页地址，慢慢跑吧

欢迎光临全球主机交流论坛 (https://443502.xyz/)