全球主机交流论坛

标题: 求教Linux下大文件并发压缩的方法 [打印本页]

作者: vForce 时间: 2019-4-2 23:23
标题: 求教Linux下大文件并发压缩的方法
大概有个3T的文件夹需要压缩，之前用7zip压缩设置Mx1之后需要压4-5天左右，压完了有2.4T左右。
但是这个压缩时间太长了，而且每次只用单线程。。想问各位大佬有没有能并发压缩的办法？
目前来说磁盘不是瓶颈，iostat下看到使用率长期是个位数，偶尔才跳40%。

作者: tony601818 时间: 2019-4-2 23:30
压缩率很重要吗？
并行压缩的有pbzip2

作者: yidaomm 时间: 2019-4-3 00:48
居然压缩几T的文件~~

作者: zzz 时间: 2019-4-3 01:08
7za支持多核的吧先打成tar再7z压？

作者: coolloves 时间: 2019-4-3 09:39
pigz 多线程gz,应该可以满足

欢迎光临全球主机交流论坛 (https://443502.xyz/)