全球主机交流论坛

标题: 搜索引擎网站架设方案 [打印本页]

作者: smyz 时间: 2012-9-24 20:46
标题: 搜索引擎网站架设方案
1、建立抓取网站资源列表。
2、架设爬虫系统。
3、制作中文词库。
4、架设分词系统。
5、开发权重分析系统。
6、建立跟踪用户行为机制，并累积用户行为数据。

搜索引擎工作
资源列表 -> 爬虫抓取数据 -> 分词系统根据中文词库分析数据 -> 权重计算分析 -> 建立索引 ->入库完成

用户搜索流程
用户搜索词 -> 优化用户搜索词 -> 搜索词分词拆分 -> 分词结果优化匹配索引列表 -> 匹配记录权重分析排序 -> 返回搜索结果集

上面是基本流程，还有很多细节的东西、快速定位、歧义、同义、词组关联性等问题，
搜索引擎网站工作量不是一般的大，要每天持续工作，
不是一两天能完成的事情。

之前有架过一个网页搜索的网站，最终放弃了。
但是有想搞一个专搜索技术类型问题的搜索引擎网站的念头，
只抓取中内外十几家比较知名的技术网站的资源、与一些个人技术博客、网站，绝不出现一些垃圾网站的结果。

想归想，有心无力、无时间。

作者: chairo 时间: 2012-9-24 20:57
楼主下面呢？没有了？

作者: cfanlc 时间: 2012-9-24 20:57
膜拜技术帝！

作者: 404 时间: 2012-9-24 20:58
虽不知,但觉厉

作者: smyz 时间: 2012-9-24 21:23

chairo 发表于 2012-9-24 20:57
楼主下面呢？没有了？

下面还什么呢?

坛里不是有人想搞搜索引擎网站么，扯蛋了一下

作者: ccc 时间: 2012-9-24 21:24
这个支持~

作者: wdlth 时间: 2012-9-24 21:26
7增加竞价功能
8增加K站功能

作者: loveni 时间: 2012-9-24 21:26
膜拜技术帝

作者: 民工三代 时间: 2012-9-24 21:33
倏然不懂貌似很NB

作者: 夏小落 时间: 2012-9-24 21:33
膜拜技术帝！

作者: 123456777 时间: 2012-9-24 21:37
。。。。。这个不是那么简单的。。。。。小的建立起来。大呢。。。。

作者: peipei38 时间: 2012-9-25 03:53
增加随意人工介入～

欢迎光临全球主机交流论坛 (https://443502.xyz/)