全球主机交流论坛

标题: 通用图片爬虫 [打印本页]

作者: qianmianyao 时间: 2021-10-28 16:41
标题: 通用图片爬虫
本帖最后由 qianmianyao 于 2021-10-28 16:55 编辑

虽然可以前面发了几个爬全站的脚本，但是我觉得资源在精不在多，故而打算完成一个通用的套图爬虫，适配多个站点，可以一套一套的下载，而非爬取全站
由于每个站的规则不一样，需要我来写规则，大家可以提供站
站的要求：最好是一个单页面很多图的
目前适配的站点
https://telegra.ph/
https://girlofthehour.com/
https://everia.club/
有想要的站可以评论提交
本地网络有点问题，明天推送到github
站点可以在帖子里提交或者github的issues
python 开发，支持异步下载
github：https://github.com/qianmianyao/SimpleCrawler/issues

作者: 0048eca662ab154 时间: 2021-10-28 16:46
快进到免费放饭环节

作者: 战神赵日天 时间: 2021-10-28 16:47
套图的精髓是，无水印原图，成套系列
这种站很赚钱

作者: iiii.im 时间: 2021-10-28 16:47
感谢分享。大概方法是不是检测到图片格式的链接就加入到get

作者: danielzi 时间: 2021-10-28 16:48
先MARK

作者: loveqianool 时间: 2021-10-28 16:49
其实写个平台更好，类似蓝天采集器那样

作者: Ticifer 时间: 2021-10-28 16:59
支持

作者: zhuzi 时间: 2021-10-28 17:27
支持一下

作者: 孫笑川 时间: 2021-10-28 17:32
希望大佬搞个小草1024的爬虫

，目前市面的都不太好用。

作者: 三丫的 时间: 2021-10-28 17:44
怎么爬目录啊

作者: lspro 时间: 2021-10-28 17:45
技术绑定

欢迎光临全球主机交流论坛 (https://443502.xyz/)