模板抽取思路的分析

今天看到一篇文章,关于页面转化成xml的方式,突然想到nutch的模板匹配问题,因为第一个页面,写匹配方式,及写一些与此同时过滤真的很没有效率,所以我打算,扩展nutch的htmlParser这个插件,把nutch只当作一个爬虫,而索引这块先不考虑。考虑采用自己建立solr服务器来建立索引。

方案:动态代码-->html-->转化成xml或xhtml --> XSLT提取

然后通过xslt模板来匹配需求采集的部分。这样如果有目标站点,则可以通过编写xslt模板来采集相关数据。跑模板的同时建立数据库关联,直接把数据存入数据库中。

思路已经形成,接下来时间就准备开发了。

你可能感兴趣的:(html,xml,XHTML,Solr)