利用Jsoup+java爬取大数据岗位信息

一. jsoup介绍
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

二. jsoup功能

1. 从一个URL，文件或字符串中解析HTML；
2. 使用DOM或CSS选择器来查找、取出数据；
3. 可操作HTML元素、属性、 文本；

三. 爬取数据步骤
1.创建一个Java项目。

2.去Jsoup官网下载Jsoup的jar包，导入到项目中。


3.在浏览器登录校园招聘网站，搜索大数据岗位，获取网址和网页源码

4.编写Java代码
package jsoup;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class Test {
public static String getHtml(String url,String encoding) {
URL uri = null;
URLConnection conn = null;
BufferedReader br = null;
StringBuffer sb = new StringBuffer();
try {
//建立网络连接
uri = new URL(url);
//打开连接
conn = uri.openConnection();
//使用输入流读取网页数据
InputStream in = conn.getInputStream();
br = new BufferedReader(new InputStreamReader(in, encoding));
String line = null;
while((line = br.readLine()) != null) {
sb.append(new String(line + “\n”));
}
} catch (Exception e) {
e.printStackTrace();
}finally {
try {
if (br != null) {
br.close();
}
} catch (IOException e) {
e.printStackTrace();
}
}
return sb.toString();
}

public static List> getContent(String url,String encoding){
	//获取网页内容
	String html = getHtml(url, encoding);
	//将网页内容转成document的格式
	Document document = Jsoup.parse(html);
	//获取ul标签
	Elements elements = document.getElementsByClass("searchResultItemDetailed");
	//使用List

}

运行效果