百万级别数据量，除了帝国用什么程序好，高铁采集器发布

chable · 发表于 2022-4-27 12:45:35

本帖最后由 chable 于 2022-4-27 22:39 编辑

百万级别数据量，除了帝国用什么程序好，要高铁采集器能发布的？
采了一个站，百万级别的数据，用WORDPRESS搞了七八万就无法再入库了。
求朋友们支个招。帝国实在太丑了，而且不知道怎么发布。

进度1：

折騰了一天，帝国实在太难用了，放弃。
目前两个方案：
1 坛友们说的DZ的门户系统，用火车头数据库入库，但是模板搞不定。用不惯DZ。比较少用。
2 听说WP有几百W的数据先例，就用WP继续折腾，尝试用火车头数据库入库，用腾讯云的VPS发布，连美西的数据库。不知道是因为网络，还是因为数据库已经有了几万条基础数据，3秒才能写入一条，一天只能写入不到30000条。

30W条数据要十天

进度2：
优化了一下VPS，增加了线程数，一天应该能入库十万条数据了。

ricehl · 发表于 2022-4-27 15:07:02

采集的数据，反正火车头post，不如就用xiunophp这个函数库写几个展示页面，想怎么折腾就怎么折腾

flyqie · 发表于 2022-4-27 14:18:16

1. 数据类型？

2. 站点类型？

3. 开发能力？

这些必要信息得有吧，百万数据这个太笼统了呀。

cowe · 发表于 2022-4-27 12:49:02

帝国大数据优化确实牛。只是后台比较老气。用习惯就好了。

200w sku的商城，一点都不卡

。别的不知道了 wp没用过。

cowe · 发表于 2022-4-27 12:50:09

当然帝国程序，自己也要做好数据库索引，存储过程优化和程序二次优化

hihelllo · 发表于 2022-4-27 13:31:35

帝国丑？帝国随便改造的

木易酱 · 发表于 2022-4-27 13:33:12

UI模板不都是靠前端自己写吗？丑不丑主要看使用者写的好不好看，实在不会，你可以花钱找人帮你写，只要钱到位，花里胡哨都安排上

Far · 发表于 2022-4-27 13:35:56

dz,我去年搞过500w

fenglin2020 · 发表于 2022-4-27 13:42:00

Far 发表于 2022-4-27 13:35
dz,我去年搞过500w

DZ，采集有Python借口吗

牛福 · 发表于 2022-4-27 13:47:44

fenglin2020 发表于 2022-4-27 13:42
DZ，采集有Python借口吗

这个可以自己写啊，DZ 帝国织梦的接口大部分有的

Far · 发表于 2022-4-27 13:50:46

fenglin2020 发表于 2022-4-27 13:42
DZ，采集有Python借口吗

py我只来做为火车头的插件，来处理一些火车头处理不了的内容。主采集还是火车头，很爽用起来。

liumer · 发表于 2022-4-27 13:56:35

TWCMS、WELLCMS可以轻松在你数据量后再加个0

		自动登录	找回密码
密码			注册

百万级别数据量，除了帝国用什么程序好，高铁采集器发布

浏览过的版块