【已解决】小说爬虫疑问

cgi · 发表于 2020-9-7 19:42:48

本帖最后由 cgi 于 2020-9-8 09:59 编辑

我用python 写的脚本获取了目录页面所有的章节，然后下载的时候总是会下载红框里的章节，并不是从第一章开始下载的，有老哥指点一下吗。我相信LOC 肯定有爬虫大佬

用了@laogui 老哥说的方法然后搜了一下 following-sibling 定位准确一些

h20 · 发表于 2020-9-7 19:44:20

提示: 作者被禁止或删除内容自动屏蔽

cgi · 发表于 2020-9-7 19:45:59

h20 发表于 2020-9-7 19:44
这种MJJ都是收费咨询

好吧。我再去b站看看

vagrantear · 发表于 2020-9-7 19:54:09

大概看了下，你的解析写的有问题，第一个穿的就是红框里的网址，肯定下载的也是那里的

518 · 发表于 2020-9-7 20:09:14

43行改为

for href in href_s[12:]:

复制代码

vagrantear · 发表于 2020-9-7 20:13:20

518 发表于 2020-9-7 20:09
43行改为

这样没从根本上解决问题，换个小说又要换，而且那部分内容还少了

啊不要这样 · 发表于 2020-9-7 20:18:59

提示: 作者被禁止或删除内容自动屏蔽

518 · 发表于 2020-9-7 20:19:14

本帖最后由 518 于 2020-9-7 20:22 编辑

vagrantear 发表于 2020-9-7 20:13
这样没从根本上解决问题，换个小说又要换，而且那部分内容还少了

好吧那就改为

for href in href_s[min(12,len(href_s)//2):]:

复制代码

goop · 发表于 2020-9-7 20:20:54

期待大佬出现。我赶紧mark一下。

老坛酸菜 · 发表于 2020-9-7 20:22:29

提示: 作者被禁止或删除内容自动屏蔽

		自动登录	找回密码
密码			注册

h20 h20 当前离线积分 19897	2^# 发表于 2020-9-7 19:44:20 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
h20 h20 当前离线积分 19897
	回复支持反对举报

啊不要这样啊不要这样当前离线积分 1079	7^# 发表于 2020-9-7 20:18:59 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
啊不要这样啊不要这样当前离线积分 1079
	回复支持反对举报

老坛酸菜老坛酸菜当前离线积分 3143	10^# 发表于 2020-9-7 20:22:29 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
老坛酸菜老坛酸菜当前离线积分 3143
	回复举报

【已解决】小说爬虫疑问

浏览过的版块