垂直搜索引擎模块设计

垂直搜索引擎模块设计

1:配置模块:
采集目标:新闻,用户评论,博客,论坛等等
采集源配置的集成开发环境,可视化。

2:爬虫模块:
网站内容组织结构(网站地图)的自动识别。
支持cookie二次验证(如新华网),验证码登陆的支持编辑弹出验证

3:初次过滤模块(过滤广告,导航等无用信息)
概览页面选定区域内包含链接的规则识别、地址过滤和转换。
细览页面选定区域内包含数据的精确识别、格式转换(内码转换,地址转换,时间转换等等)
基于视觉的网页自动分区技术(VIPS),网页分区后的区域类型和特征的自动标注。
DOM树结构分析;基于分区的网页结构分析思想,可视化的区域选择配置

4:任务调度模块:更新策略,调度策略,日志管理
预设监控目标网站的各项阈值,提供异常情况发生的报警机制;考虑URL二级映射,以便爬虫服务器在动态增减后数据交换量尽量少

5:数据挖掘模块:
文本分类、文本聚类、相似性检索、自动摘要、自动分词、信息抽取、敏感信息过滤、情感分析、拼音检索、相关短语检索
5.1文本分类:
基于统计的文本分类(训练语料库,支持修改补充语料库和规则库);支持多级和复分;支持基于语义分析的向量空间模型,用户可以建立知识词典,模块自动调用知识库资源,进一步提高分类的精确度。
基于规则体系的文本分类(编写分类规则):
规则支持“与或非”等逻辑运算和词频数条件设置。
比如表达式:作者=(刘翔+顾宝刚)- 正文=(比赛);标题=(复出) + 正文=(美国+治疗)
K近邻法和支持向量机等分类算法:http://www.360doc.com/content/070716/23/11966_615236.html

某SVM分类器:http://www.csie.ntu.edu.tw/~cjlin/libsvm/

5.2文本聚类:
将相近、相似或者相同特征的文本聚合在一起

5.3相似性检索
用户可以自定义相似度阈值
提取网页摘要、关键词和主题词等特征,自动生成唯一序列,自动判断信息指纹是否相等
效率方面用倒排索引机制等等提高

5.4自动摘要
用户可以建立专业词典,自定义线索词
网页包含关键词的自动提取

5.5自动分词
第一阶段:正向减字最大匹配+逆向减字最大匹配,如果不相同,再用回溯法重新处理
第二阶段:
规则与统计相结合,内嵌分词歧义规则库
提供词性标注功能,准确识别人名、地名、组织机构名等信息
分词词典:系统支持设立主题词表、同义词/反义词典、禁用词典以及词典按需 维护
分词规则库:统计建立了大量歧义排除规则,有效提高了分词准确性、提高了 查准率。
支持主题词典自动扩展检索、同义词/反义词自动扩展检索、全半角 自动扩展检索、简繁体自动扩展检索(基于权威知识库体系,辅助元数据信息的纠错和补全)

5.6信息抽取
抽取目标:结构化(时间),半结构化(html),非结构化(人名、地名、机构名、时间以及货币等等)

抽取方法:
1:模板技术(人工标注各类模板库,然后自动萃取。有可能的话用神经网络自动训练)
2:启发式的获取(新闻的正文一般在标题下面最近的一块大区域)
3:利用视觉相似性自动分析网页语义结构(目前比较流行的方式)

对于js信息(js解释器本地解析或者模拟触发js事件,如搜狐论坛)

5.7情感分析

 

6存储模块:
结构化数据:各种关系数据库
非机构化数据:文件系统Lucene做索引,BigTable(HBase、Hypertable)
分布式:Hadoop集群,MogileFS自动备份等等

posted on 2009-12-22 13:33 jeremychen 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/jeremychen/archive/2009/12/22/1629706.html

你可能感兴趣的:(人工智能,爬虫,大数据)