简单的java爬虫：HttpClient+jsoup 爬取数据
简单的java爬虫：HttpClient+jsoup 爬取数据
说到爬虫，首先想到的是python爬虫，代码少，功能强大，关于python就不过多说明了。
这里介绍一个我试用过的java开发过程使用过的在网页爬取数据的方法。
功能介绍：在国家最新新政区代码网页上获取最新地区信息
http://www.mca.gov.cn/article/sj/xzqh/2019/2019/201912251506.html
将在网页上获取的所有最新省市区名称以及编号，进行分析，再写入数据库市判断上下级关系。
首先要创建数据库表，主要字段如下：
由于只是需要获取最新的地区信息，所以我制作了测试类来跟新数据库地区表信息。更新成功就 没有在整理，代码有冗余，仅作可行演示。
根据数据库生成对应的接口文件，可使用mybatis-generator代码生成工具
（https://blog.csdn.net/lizhiopeng/article/details/103872942）
pom.xml中添加:HttpClient和jsoup的对应版本依赖。
<!--HttpClient支持类-->
<dependency>
<groupId>commons-httpclient</groupId>
<artifactId>commons-httpclient</artifactId>
<version>3.1</version>
</dependency>
<!--jsoup-->
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.11.3</version>
</dependency>
测试类如下：
主要步骤：
1.使用HttpClient（）获取url的html内容
2.使用jsoup解析html内容
3.判断获取的信息，进行逻辑处理
4.存入数据库
/**
* 从网页爬取地址信息写入数据库
*
* @throws IOException
*/
@Test
public void insertAreaByUrl() throws IOException {
HttpClient client = new HttpClient();
GetMethod getMethod = new GetMethod("http://www.mca.gov.cn/article/sj/xzqh/2019/2019/201912251506.html");//获取需要解析的url
getMethod.getParams().setParameter(HttpClientParams.HTTP_CONTENT_CHARSET, "UTF-8");
client.executeMethod(getMethod);
String params = getMethod.getResponseBodyAsString();
Document doc = Jsoup.parse(params);//jsoup解析html里的内容
// 获取html中所有table
Elements table = doc.select("table");
// 使用选择器选择该table内所有的 测试通过数据库表写入成功
