火车头，怎么能让他不自己获取内容页面地址？

joyanhui

对方网站内容地址  http://www.123.com/show.asp?id=1    一直到 http://www.123.com/show.asp?id=500000

所以我直接无视他的列表页，直接从内容获取分类，然后打算花直接从id=1 跑到id=50W。

我在火车头里面 添加了采集网址规则 从1-500000  步进是1

1. 成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3024
   
2. 成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3025
   
3. 成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3026
   
4. 成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3027
   
5. 成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3028
   
6. 成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3029

复制代码

但是 它竟然4-5秒才保存一次，而且一次只添加20个左右。到现在才添加了3000多个。。。。

虽然vps上挂机跑的，不费电，但是浪费时间。。。。求加速！！我不想到世界末日还没有添加完网址。

======================================================
刚刚发完帖子想起来，50万个地址 分成了10分，一份5万，一边采集 一边生成内容页地址，慢慢跑吧