准备建立千万级数据量的垃圾站。。。

攻城狮 · 发表于 2011-9-20 23:20:52

没开玩笑

　　条件成熟的话可能上亿

飞天金猪 · 发表于 2011-9-20 23:21:28

期待垃圾帝出现~~~

老中医 · 发表于 2011-9-20 23:21:59

跪拜

有容乃大 · 发表于 2011-9-20 23:22:27

原帖由 老中医 于 2011-9-20 23:21 发表
跪拜

求技术

请问楼主使用啥程序？全静态么？

yexinzhu · 发表于 2011-9-20 23:22:43

等着被K。所有付出功亏一篑

攻城狮 · 发表于 2011-9-20 23:24:09

前段时间已经用ＰＨＰ实现了所有程序，不过不是很完善。。几天的时间塞进几十万的数据。
大概流程：用主关键词取得所有长尾词，用长尾词取得所有搜索结果，用正文提取算法从URL取出正文，入库。
准备用Python重写，ＰＨＰ还是写写网页比较合适。。

弓虽女干 · 发表于 2011-9-20 23:24:36

数据太多.累死蜘蛛咋办

攻城狮 · 发表于 2011-9-20 23:24:44

原帖由 有容乃大 于 2011-9-20 23:22 发表

求技术

请问楼主使用啥程序？全静态么？

自己写的程序和CMS脱离，想用啥CMS都成。

有容乃大 · 发表于 2011-9-20 23:25:32

Python

没技术插不上嘴。。

网络寄生虫 · 发表于 2011-9-20 23:25:33

		自动登录	找回密码
密码			注册