全球主机交流论坛

标题: 用了全文索引，效果果然不一样了！ [打印本页]

作者: 带头盔滴衰锅 时间: 2016-2-28 08:37
标题: 用了全文索引，效果果然不一样了！
之前做ＤＨＴ时没有使用全文索引软件，直接对数据库进行搜索查询，用过MySQL，用过MongoDB，效果都差不多，性能很差，一次查询要几秒甚至十几秒！

之后使用全文索引，用的elasticsearch，配合mongodb，效果一下子就明显了，在13W数据中查询出3W的数据只耗时199ms，强了太多太多了！

不过还是有问题，就是数据资源占用问题，因为用了mongodb存储一份，然后使用elasticsearch再存储一份，导致存在两份数据，资源占用就大了很多很多！

新的DHT演示：http://btkuaiche.com

作者: 卖女孩的小火柴 时间: 2016-2-28 08:45
提示: 作者被禁止或删除内容自动屏蔽

作者: 带头盔滴衰锅 时间: 2016-2-28 08:47

卖女孩的小火柴发表于 2016-2-28 08:45
直接查询数据库，牛x

当时是作为测试使用的，哈哈

作者: 斜阳晚暮 时间: 2016-2-28 08:48
技术大牛。研究的都是高深东西。

作者: sense 时间: 2016-2-28 08:49
bt快车，送上一ip

作者: 带头盔滴衰锅 时间: 2016-2-28 08:49

斜阳晚暮发表于 2016-2-28 08:48
技术大牛。研究的都是高深东西。

这个不高深啊，好多人都在就做站了

作者: 带头盔滴衰锅 时间: 2016-2-28 08:50

sense 发表于 2016-2-28 08:49
bt快车，送上一ip

谢谢～顺便继续水一贴

作者: CCAV记者 时间: 2016-2-28 09:05
提示: 作者被禁止或删除内容自动屏蔽

作者: 带头盔滴衰锅 时间: 2016-2-28 09:10
现在日均采集量为2W左右

作者: 笃笃 时间: 2016-2-28 09:55

带头盔滴衰锅发表于 2016-2-28 08:49
这个不高深啊，好多人都在就做站了

你用的是手撕包菜？

作者: 带头盔滴衰锅 时间: 2016-2-28 10:03

笃笃发表于 2016-2-28 09:55
你用的是手撕包菜？

不是，是我自己用golang写的

作者: 绝对冷血 时间: 2016-2-28 10:20
要不然共享源码~~~嘿嘿~~~~

作者: 带头盔滴衰锅 时间: 2016-2-28 10:23

绝对冷血发表于 2016-2-28 10:20
要不然共享源码~~~嘿嘿~~~~

到时候看吧，我先测试了看看，之前有BUG版的已经共享了，这个版本的没开放

作者: 绝对冷血 时间: 2016-2-28 10:50

带头盔滴衰锅发表于 2016-2-28 10:23
到时候看吧，我先测试了看看，之前有BUG版的已经共享了，这个版本的没开放 ...

看起来好高端正好可以放我的19欧和KS上~~~~

作者: 带头盔滴衰锅 时间: 2016-2-28 11:05

绝对冷血发表于 2016-2-28 10:50
看起来好高端正好可以放我的19欧和KS上~~~~

嘿嘿，可以试试

作者: 气味 时间: 2016-2-28 11:33
不明觉厉啊

作者: 带头盔滴衰锅 时间: 2016-2-28 12:30

气味发表于 2016-2-28 11:33
不明觉厉啊

额，就是吃李连杰

作者: 狼牙双头龙 时间: 2016-2-28 12:36
才13w 这点真不算什么

作者: ohmyga 时间: 2016-2-28 12:51
不如 sphinx吧，13w用sphinx的话估计 0.001s

作者: _jerryjee 时间: 2016-2-28 12:54
Sphnix 秒秒钟出结果

作者: 带头盔滴衰锅 时间: 2016-2-28 12:56

ohmyga 发表于 2016-2-28 12:51
不如 sphinx吧，13w用sphinx的话估计 0.001s

额，这个没比较过，而且sphinx与mongodb搭配比较麻烦，所以选择了elasticsearch，而且我的计时是包含了模板渲染等等的

作者: 带头盔滴衰锅 时间: 2016-2-28 13:03

狼牙双头龙发表于 2016-2-28 12:36
才13w 这点真不算什么

恩，数据太少了，正在逐步采集中，不敢开的太快，怕VPS扛不住

作者: 带头盔滴衰锅 时间: 2016-2-28 13:04

_jerryjee 发表于 2016-2-28 12:54
Sphnix 秒秒钟出结果

应该是微秒吧，秒秒钟那还不如直接数据库

作者: fuckjp 时间: 2016-2-28 14:12
(, 下载次数: 0)

楼主你不想混了啊

作者: 楼下节操掉满地 时间: 2016-2-28 14:43
数据存es里就好了, 反正和mongodb一样都是吃内存大户, 单机跑都没什么可靠性, 就不用重复设施了.

作者: 带头盔滴衰锅 时间: 2016-2-28 16:27

fuckjp 发表于 2016-2-28 14:12
楼主你不想混了啊

没设置过滤，有这个功能，但是没有使用～

作者: 带头盔滴衰锅 时间: 2016-2-28 16:41

楼下节操掉满地发表于 2016-2-28 14:43
数据存es里就好了, 反正和mongodb一样都是吃内存大户, 单机跑都没什么可靠性, 就不用重复设施了. ...

这个主要是我测试了一下，不知道是不是我提取的方法有问题，我单数据提取时，es比mongodb要慢好多

作者: 77sky 时间: 2016-2-28 20:25
提示: 作者被禁止或删除内容自动屏蔽

作者: 带头盔滴衰锅 时间: 2016-2-28 20:42

77sky 发表于 2016-2-28 20:25
怎么获取的种子

dht网络啊

作者: Quest 时间: 2016-2-28 20:50
bt快车，送上一ip

作者: 77sky 时间: 2016-3-5 07:16
提示: 作者被禁止或删除内容自动屏蔽

作者: 带头盔滴衰锅 时间: 2016-3-5 21:37

77sky 发表于 2016-3-5 07:16
不是从种子库获取的？

哦，你是说种子文件啊，这个是从种子库取

欢迎光临全球主机交流论坛 (https://443502.xyz/)