一种面向搜索引擎的网页分块、切片的原理,实现和演示

一种面向搜索引擎的网页分块、切片的原理,实现和演示



最近看到 2005 年的 全国搜索引擎和网上信息挖掘学术研讨会 上 华南木棉信息检索的队长 欧健文 的 华南木棉信息检索 的ppt。很有启发。

于是自己也根据自己的理解准备做一个实现。
实现前提假设:
1、网页分块切分的基本单位是html中的table , div 等标签(目前版本只支持:table ,div 标签)。
2、网页分块切片识别依赖于相似url的对比。比如:我们认为一下两个url的网页html文本结构相似:
http://news.soufun.com/2005-11-26/580107.htm
http://news.soufun.com/2005-11-26/580175.htm
而下面两个url的网页结构不相似:
http://news.soufun.com/subject/weekly051121/index.html
http://news.soufun.com/2005-11-26/580175.htm

用途:
1、根据分析网页结构区分网页是 主题型网页 还是 目录型网页;
2、根据分析网页结构 找出 网页的 主题内容,相关内容和噪音内容;

实现的3个阶段:
1、对网页结构进行合理切片;
2、比较相似网页的切片结构;
3、分析切片数据,得出结论。
演示地址:
http://www.domolo.com:8090/domoloWeb/html-page-slice.jsp



你可能感兴趣的:(一种面向搜索引擎的网页分块、切片的原理,实现和演示)