请教一下火车头采集的问题

夏渔 · 发表于 2020-3-23 20:07:59

本帖最后由夏渔于 2020-3-23 20:28 编辑

采集的是这个网站
可能是我表达错误，不是列表页，是文章分页没法采，比如https://www.xgmn.org/Xiuren/Xiuren13413_2.html
分页规则设置了，数据来源也设置分页源码了，循环匹配也设置，还是没法采集分页内容

有大佬帮我看一下怎么弄吗

一个不知名网友 · 发表于 2020-3-23 20:14:23

提示: 作者被禁止或删除内容自动屏蔽

bluevm · 发表于 2020-3-23 20:18:09

没用过工具，只是这种我一般都FOR循环

https://www.xgmn.org/Xiuren/page_变量+1.html

英梨梨 · 发表于 2020-3-23 20:24:40

夏渔 · 发表于 2020-3-23 20:25:14

本帖最后由夏渔于 2020-3-23 20:26 编辑

bluevm 发表于 2020-3-23 20:18
没用过工具，只是这种我一般都FOR循环

https://www.xgmn.org/Xiuren/page_变量+1.html ...

不是列表页，是文章分页没法采，比如https://www.xgmn.org/Xiuren/Xiuren13413_2.html

夏渔 · 发表于 2020-3-23 20:28:07

英梨梨发表于 2020-3-23 20:24

可能是我表达错误，不是列表页，是文章分页没法采，比如https://www.xgmn.org/Xiuren/Xiuren13413_2.html

bluevm · 发表于 2020-3-23 20:28:20

夏渔发表于 2020-3-23 20:25
不是列表页，是文章分页没法采，比如https://www.xgmn.org/Xiuren/Xiuren13413_2.html ...

一样的道理啊

FOR循环

https://www.xgmn.org/Xiuren/Xiuren13413_变量.html

简单点的话遇到404 之类的就是最后了

或者第一页的时候匹配出来最后一页的页码ID

木易酱 · 发表于 2020-3-23 22:13:36

9.x分页采集有问题，
返回200状态码，就是获取不到内容。

换8.x就好了

luceos · 发表于 2020-3-23 22:16:09

今天看到两则说pyone因为采集被抓了？

夏渔 · 发表于 2020-3-23 22:40:38

木易酱发表于 2020-3-23 22:13
9.x分页采集有问题，
返回200状态码，就是获取不到内容。

谢谢大佬了

		自动登录	找回密码
密码			注册

一个不知名网友一个不知名网友当前离线积分 2550	2^# 发表于 2020-3-23 20:14:23 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
一个不知名网友一个不知名网友当前离线积分 2550
	回复支持反对举报

请教一下火车头采集的问题

浏览过的版块