txt怎么去重最高效

speedtest · 发表于 2023-10-14 08:25:20

提示: 作者被禁止或删除内容自动屏蔽

yrj · 发表于 2023-10-14 19:55:40

裤子吗，紫薯布丁

hins · 发表于 2023-10-14 19:51:53

几个T，光读取就得几个小时了吧

1121744186 · 发表于 2023-10-14 18:55:02

一个txt 里面重复标准是什么？同一个字算重复吗

秋刀鱼 · 发表于 2023-10-14 17:59:23

用 EmEditor

kapai · 发表于 2023-10-14 16:49:02

用工具导入数据库就行了记得设置成主键就行了
迟早要进库的

秋秋0827 · 发表于 2023-10-14 15:48:00

先切割为若干小文件，然后再逐一处理

6056687 · 发表于 2023-10-14 14:51:37

租个大杜甫

teardrops · 发表于 2023-10-14 11:53:29

以前试过python写的. 10亿的数据才几百G.. 你这信封牛

CapitalTeemo · 发表于 2023-10-14 11:52:20

。几个T的txt

		自动登录	找回密码
密码			注册

speedtest speedtest 当前离线积分 980	电梯直达 1^# 发表于 2023-10-14 08:25:20 来自手机 \| 只看该作者 \|正序浏览 \|阅读模式提示: 作者被禁止或删除内容自动屏蔽
speedtest speedtest 当前离线积分 980	分享到: QQ好友和群 QQ空间收藏1
	回复举报

[疑问] txt怎么去重最高效