全球主机交流论坛

标题: 请教Gclone拷贝结果完整率 [打印本页]

作者: darkst 时间: 2020-7-9 10:35
标题: 请教Gclone拷贝结果完整率
本帖最后由 darkst 于 2020-7-11 11:51 编辑

Transferred: 4.305T / 4.397 TBytes, 98%, 835.924 MBytes/s, ETA 1m56s
Errors: 267 (retrying may help)
2020-07-08 22:08:31 ERROR : 000000/Pearson Livelessons Linux Foundation Certified Engineer LFCE.part4.rar: Failed to copy: googleapi: Error 404: File not found: 1CadfBERmCLtX0ztXEPfSQRq-Q3fRzN03., notFound
Transferred: 4.308T / 4.397 TBytes, 98%, 836.623 MBytes/s, ETA 1m51s
Errors: 268 (retrying may help)
2020-07-08 22:09:12 ERROR : Attempt 3/3 failed with 268 errors and: googleapi: Error 404: File not found: 1CadfBERmCLtX0ztXEPfSQRq-Q3fRzN03., notFound
Transferred: 4.394T / 4.394 TBytes, 100%, 846.835 MBytes/s, ETA 0s
Errors: 268 (retrying may help) Checks: 2732 / 2732, 100%
Transferred: 6464 / 6464, 100%
Elapsed time: 1h30m40.4s
2020/07/08 22:09:12 Failed to copy with 268 errors: last error was: googleapi: Error 404: File not found: 1CadfBERmCLtX0ztXEPfSQRq-Q3fRzN03., notFound

复制代码

这样的结果显示是否全部拷贝成功？

谢谢@lylyx
错误产生原因是：/root/AutoRclone/accounts/多于团队盘SA成员数量
调用的时候出现错误，因为某些SA号没有权限操作团队盘

作者: coouk 时间: 2020-7-9 10:35

看不懂

作者: Dink是煞笔 时间: 2020-7-9 10:36
这个我放弃了。。。不是丢文件，就是有重复的

重复的那种用命令还干不掉，只能手动

作者: darkst 时间: 2020-7-9 10:40

Dink是煞笔发表于 2020-7-9 10:36
这个我放弃了。。。不是丢文件，就是有重复的重复的那种用命令还干不掉，只能手动 ...

重复执行命令，如果有传输丢失的话，会补全吗？

作者: Dink是煞笔 时间: 2020-7-9 10:41

darkst 发表于 2020-7-9 10:40
重复执行命令，如果有传输丢失的话，会补全吗？

能，多执行几次copy命令

作者: 似曾相识000 时间: 2020-7-9 10:44

darkst 发表于 2020-7-9 10:40
重复执行命令，如果有传输丢失的话，会补全吗？

理论上会滴，不过我一般执行个三次也就拉倒了，粗略地看看好像没什么文件丢失

作者: darkst 时间: 2020-7-9 10:44

Dink是煞笔发表于 2020-7-9 10:41
能，多执行几次copy命令

Transferred:          0 / 2.391 TBytes, 0%, 0 Bytes/s, ETA -
Errors:             730 (retrying may help)
Transferred:          0 / 3633, 0%
Elapsed time:    5m7.8s

跑十几分钟，传输一直是0%，

作者: Dink是煞笔 时间: 2020-7-9 10:45

darkst 发表于 2020-7-9 10:44
Transferred: 0 / 2.391 TBytes, 0%, 0 Bytes/s, ETA -
Errors: 730 (retryin ...

这个就不知道了

作者: darkst 时间: 2020-7-9 10:46

似曾相识000 发表于 2020-7-9 10:44
理论上会滴，不过我一般执行个三次也就拉倒了，粗略地看看好像没什么文件丢失 ...

大部分提示错误都是文件夹创建失败404
last error was: googleapi: Error 404: File not found:

作者: 似曾相识000 时间: 2020-7-9 10:48

darkst 发表于 2020-7-9 10:46
大部分提示错误都是文件夹创建失败404
last error was: googleapi: Error 404: File not found: ...

这个还真没遇到过

坐等大佬解答

作者: Reves 时间: 2020-7-9 10:52
我一般gclone两遍之后用autorclone再跑一遍

作者: darkst 时间: 2020-7-9 10:54

Reves 发表于 2020-7-9 10:52
我一般gclone两遍之后用autorclone再跑一遍

有命令可以检查比对吗？

作者: Reves 时间: 2020-7-9 11:03

darkst 发表于 2020-7-9 10:54
有命令可以检查比对吗？

autorclone有核对和去重功能，缺点运行慢了点，会多次检验。所以大文件我是这么操作的

作者: darkst 时间: 2020-7-9 11:05

Reves 发表于 2020-7-9 11:03
autorclone有核对和去重功能，缺点运行慢了点，会多次检验。所以大文件我是这么操作的 ...

好的，我去研究一下

作者: hnn 时间: 2020-7-9 11:54
gclone 拷贝确实有问题，源文件和拷贝文件的大小不一样，gclone重复拷贝几次也还是一样

作者: 574722031 时间: 2020-7-9 13:19
我一般都是 seq 3 | xargs -i gclone

作者: darkst 时间: 2020-7-10 00:11

574722031 发表于 2020-7-9 13:19
我一般都是 seq 3 | xargs -i gclone

大佬，表示完全不懂这命令用途，可否详细解释？

作者: kimily 时间: 2020-7-10 02:19
不是出了新的复制方法了吗。用新的吧第四代

作者: Hallelujah 时间: 2020-7-10 02:28
转的多的话，偶尔会丢

作者: 574722031 时间: 2020-7-10 08:32

darkst 发表于 2020-7-10 00:11
大佬，表示完全不懂这命令用途，可否详细解释？

运行3次gclone

作者: jasper 时间: 2020-7-10 08:37
这种要我说的话就是全部完成了Transferred: 6464 / 6464, 100%

作者: lylyx 时间: 2020-7-10 10:22

darkst 发表于 2020-7-9 10:44
Transferred: 0 / 2.391 TBytes, 0%, 0 Bytes/s, ETA -
Errors: 730 (retryin ...

是不是超了750g限制

作者: lylyx 时间: 2020-7-10 10:24
状态是googleapi404，考虑一下账号问题

作者: darkst 时间: 2020-7-10 13:11

lylyx 发表于 2020-7-10 10:22
是不是超了750g限制

有配合几百个SA,Gclone会切换号啊
才3T，不可能失败那么多

作者: darkst 时间: 2020-7-10 13:12

lylyx 发表于 2020-7-10 10:24
状态是googleapi404，考虑一下账号问题

我手工粗略对比看文件，目前也没看出少什么，很奇怪

作者: ouou8 时间: 2020-7-10 13:32
不懂，帮顶

作者: lylyx 时间: 2020-7-10 17:40

darkst 发表于 2020-7-10 13:11
有配合几百个SA,Gclone会切换号啊
才3T，不可能失败那么多

大概就是当前用到的sa没有找到你输入的那个文件夹。再具体就不清楚了

作者: 飘云 时间: 2020-7-10 17:41
能，多执行几次copy命令

作者: kone 时间: 2020-7-10 17:59
你看看能不能手动在谷歌盘创建新文件夹

作者: darkst 时间: 2020-7-10 23:05

kone 发表于 2020-7-10 17:59
你看看能不能手动在谷歌盘创建新文件夹

手动可以创建的

作者: lylyx 时间: 2020-7-11 01:41
今天把sa添加群组尝试转存时，我也遇到这个问题了。不知道原因，不过找到解决办法了，自己的共享云端硬盘路径后需要是一个已存在的文件夹。
例如应该输入的是gclone copy -P sa:{} sa:{已经存在的一个文件夹的id} --drive……
而且已存在的文件夹id后不能再跟路径，比如}/xxx，不然也一直报错，虽然看了下有文件存进去了，但是很少，而且一直报错受不了。
可能是sa不能建新文件夹吧，不太懂。

作者: darkst 时间: 2020-7-11 02:03

lylyx 发表于 2020-7-11 01:41
今天把sa添加群组尝试转存时，我也遇到这个问题了。不知道原因，不过找到解决办法了，自己的共享云端硬盘路 ...

如果是因为复制时目标文件夹创建新文件夹会错误
但是我查看复制结果，目标文件夹还是有创建成功的？

我是从六百多SA中添加了二百多个到共享盘来复制的

作者: lylyx 时间: 2020-7-11 09:19

darkst 发表于 2020-7-11 02:03
如果是因为复制时目标文件夹创建新文件夹会错误
但是我查看复制结果，目标文件夹还是有创建成功的？

我目前算是解决了。你600个sa账号，都写在gclone配置文件路径里面了吗，还是只有你添加到团队盘的200个

作者: vps理论研究家 时间: 2020-7-11 09:21

Dink是煞笔发表于 2020-7-9 10:36
这个我放弃了。。。不是丢文件，就是有重复的重复的那种用命令还干不掉，只能手动 ...

给团队盘管理员权限能去重

作者: vps理论研究家 时间: 2020-7-11 09:23

darkst 发表于 2020-7-9 10:46
大部分提示错误都是文件夹创建失败404
last error was: googleapi: Error 404: File not found: ...

没有配置好，应该是SA没有进入团队盘

作者: darkst 时间: 2020-7-11 09:23

lylyx 发表于 2020-7-11 09:19
我目前算是解决了。你600个sa账号，都写在gclone配置文件路径里面了吗，还是只有你添加到团队盘的200个 ...

都下载放在/root/AutoRclone/accounts/

作者: vps理论研究家 时间: 2020-7-11 09:25

lylyx 发表于 2020-7-11 01:41
今天把sa添加群组尝试转存时，我也遇到这个问题了。不知道原因，不过找到解决办法了，自己的共享云端硬盘路 ...

不需要跟已存在文件夹，权限给够，没有文件夹，它可以自己创建

作者: lylyx 时间: 2020-7-11 09:55

vps理论研究家发表于 2020-7-11 09:25
不需要跟已存在文件夹，权限给够，没有文件夹，它可以自己创建

我也感觉是这样，但是它老报404，很无奈

作者: lylyx 时间: 2020-7-11 09:56

darkst 发表于 2020-7-11 09:23
都下载放在/root/AutoRclone/accounts/

accounts下面的所有sa都要添加到团队盘

作者: Dink是煞笔 时间: 2020-7-11 10:12

vps理论研究家发表于 2020-7-11 09:21
给团队盘管理员权限能去重

就是管理员

作者: darkst 时间: 2020-7-11 11:48

lylyx 发表于 2020-7-11 09:56
accounts下面的所有sa都要添加到团队盘

新建了一个100 SA团队盘。测试的确不会有这个错误了。
但是请教一下你
我用AutoRclone复制总是出现错误

2020/02/12 00:25:32 Failed to rc: connection failed: Post http://localhost:5572/core/stats: dial tcp 127.0.0.1:5572: connect: connection refused
2020/02/12 00:25:32 Failed to rc: connection failed: Post http://localhost:5572/core/stats: dial tcp 127.0.0.1:5572: connect: connection refused
rclone日志
2020/02/12 00:28:49 ERROR : : error listing: directory not found
2020/02/12 00:28:49 Failed to size with 2 errors: last error was: directory not found2020/02/12 00:25:32 Failed to rc: connection failed: Post http://localhost:5572/core/stats: dial tcp 127.0.0.1:5572: connect: connection refused
rclone日志
2020/02/12 00:28:49 ERROR : : error listing: directory not found
2020/02/12 00:28:49 Failed to size with 2 errors: last error was: directory not found

复制代码

我运行rclone --config rclone.conf size --disable ListR src001:，rclone --config rclone.conf size --disable ListR dst001:
都是错误
但是我测试过SA账号下载，与Google API链接是正常的

作者: lylyx 时间: 2020-7-11 13:27

darkst 发表于 2020-7-11 11:48
新建了一个100 SA团队盘。测试的确不会有这个错误了。
但是请教一下你
我用AutoRclone复制总是出现错误

这个不清楚，检查一下防火墙或者端口占用吧

作者: kone 时间: 2020-7-11 21:49
权限或者路径导致Rclone任务都没跑起来

欢迎光临全球主机交流论坛 (https://443502.xyz/)

Powered by Discuz! X3.4