网页爬虫简单demo

今天用htmlcleaner写了一个最简单的网页爬虫,记录一下。

  1. 首先新建一个java工程
  2. 导入htmlcleaner的jar包
    网页爬虫简单demo_第1张图片
  3. 新建一个类,从指定网页中获取指定内容
    网页爬虫简单demo_第2张图片
    大致原理为首先获取指定地址的所有元素,然后按照给定的方式进行抽取内容,最后进行内容处理。这里是用的node.evaluateXPath(“//*[@id=’sub_1’]/div”)的方式进行取内容,大家也可以尝试按照其他方式进行获取内容
    最后写了一个简单的方法进行过滤结果:
    网页爬虫简单demo_第3张图片
    运行后的结果为:
    网页爬虫简单demo_第4张图片

这只是一个小demo,有兴趣的朋友可以好好研究一下htmlcleaner

最后附上这个demo的下载地址:http://download.csdn.net/detail/sapce_fish/9560920

如果有写的不对的地方,欢迎指正,谢谢

你可能感兴趣的:(java,爬虫,htmlcleane)