全球主机交流论坛

标题: 批量下载若干文件按目录保存怎么搞啊 [打印本页]

作者: webrun 时间: 2022-10-10 13:30
标题: 批量下载若干文件按目录保存怎么搞啊

www.aaa.com/data/202101/11/vrt5t5v5by.jpg
www.aaa.com/data/202202/11/v5y5b6by.jpg
www.aaa.com/data/202203/10/vyvb**v.jpg
www.aaa.com/data/202201/02/c43vtb5v.jpg
www.aaa.com/data/202205/05/vtv5tv5t bb.jpg
www.aaa.com/data/202201/11/vtvt54tb.jpg
www.aaa.com/data/202206/09/v5ty5n.jpg

有十几万条

全部按路径保存下来一层一层

哪个软件好使？idm好像要先做成在线网页？

作者: sqliuchang 时间: 2022-10-10 13:37
wget -r递归就行了

作者: webrun 时间: 2022-10-10 13:45

sqliuchang 发表于 2022-10-10 13:37
wget -r递归就行了

在win10里啊

作者: webrun 时间: 2022-10-10 21:34
没人会么

作者: 期权小王子 时间: 2022-10-10 21:45
python应该几行代码就可以搞定，还可以搞成多进程下载

作者: 强迫症专家 时间: 2022-10-10 21:52

webrun 发表于 2022-10-10 21:34
没人会么

如果是我我会用火车头浏览器，弄个小程序搞。

作者: 小猪佩奇 时间: 2022-10-10 22:07
nginx开文件，让idm自己爬

作者: dsusu 时间: 2022-10-10 22:29
import requests
import os
#下载图片
def download(url):
#获取路径
path = url.split('data')[1]
#获取文件名
filename = path.split('/')[-1]
#获取文件夹名
dirname = path.split('/')[-2]
dirname1= path.split('/')[-3]
   #判断diranme是否存在
if not os.path.exists(dirname1):
      os.mkdir(dirname1)
#判断文件夹是否存在
if not os.path.exists(dirname1+'/'+dirname):
      #创建文件夹
      os.mkdir(dirname1+'/'+dirname)
#获取图片
response = requests.get(url)

#保存图片到本地
with open(dirname1+'/'+dirname+'/'+filename,'wb') as f:
      f.write(response.content)
download('www.aaa.com/data/202101/11/vrt5t5v5by.jpg')
[/code]
应该能用，没测试，就是大概这个样子，后续自行发挥

作者: acpp 时间: 2022-10-10 22:32
idm支持导入一行一行格式的。
直接取文件名前2字符做文件夹名称存入也可以

作者: henbf 时间: 2022-10-10 22:59
curl www.aaa.com/data/202101/11/vrt5t5v5by.jpg --create-dirs -o /data/202101/11/vrt5t5v5by.jpg

欢迎光临全球主机交流论坛 (https://443502.xyz/)