Java教程之使用Jsoup实现简单的爬虫技术

　　1.Jsoup简述

　　​ Java中支持的爬虫框架有很多，比如WebMagic、Spider、Jsoup等。今天我们使用Jsoup来实现一个简单的爬虫程序。

　　​ Jsoup拥有十分方便的api来处理html文档，比如参考了DOM对象的文档遍历方法，参考了CSS选择器的用法等等，因此我们可以使用Jsoup快速地掌握爬取页面数据的技巧。

　　2.快速开始

　　1)编写HTML页面

Java培训.jpg" width="500" height="489" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">

　　页面中表格的商品信息是我们要爬取的数据。其中属性pname类的商品名称，以及属于pimg类的商品图片。

　　2)使用HttpClient读取HTML页面

　　HttpClient是一个处理Http协议数据的工具，使用它可以将HTML页面作为输入流读进java程序中。可以从http://hc.apache.org/下载HttpClient的jar包。