基于概率的网页正文页抽取方案

背景:

需要抽取网页的正文页和列表页

 

分析:

1.同一类型的网页其变化的是内容,不变的是样式布局

2.解析dom tree,叶子节点为文本,那么深度遍历全树可以获取其文本值

3.变化的是内容不变的是样式布局,那么可以基于概率构造需要数据的xpath

 

思路:

1.获取所有节点的xpath,保存xpath和文本值

2.遍历n个同类型的网页获取满足某一概率的所有变化的xpath

3.基于xpath生成模板进行网页解析,其对应项通过人工干预方式获取

 

你可能感兴趣的:(网页正文)