一、HttpClients + jsoup java爬虫简单小案例
用到的内容：
HttpClients + jsoup
pom依赖：
org.apache.httpcomponents
httpclient
4.5.13
org.jsoup
jsoup
1.12.1
代码：
package com.pcf.spdemo.common.commonutils.httpclient;
import org.apache.http.HttpEntity;
import org.apache.http.HttpHost;
import org.apache.http.HttpStatus;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.utils.HttpClientUtils;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import java.io.IOException;
public class SpHttpClientUtils {
private static Logger log = LoggerFactory.getLogger(SpHttpClientUtils.class);
private static String WEB_PAGE_URL = "https://www.cnblogs.com/";
private int totalPage = 1;
// 爬虫方法，获取网页信息
public void getHttpPageInfo(String htmlUrl) {
//1.生成httpclient，相当于该打开一个浏览器
CloseableHttpClient httpClient = HttpClients.createDefault();
CloseableHttpResponse response = null;
//2.创建get请求，相当于在浏览器地址栏输入 网址
HttpGet request = new HttpGet(htmlUrl);
// 伪装成浏览器，可以绕过简单的反爬虫
request.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36");
// 使用代理IP，防止一个IP一直访问，被网站识别
HttpHost proxy = new HttpHost("120.42.46.226", 6666);
RequestConfig config = RequestConfig.custom().setProxy(proxy).build();
request.setConfig(config);
try {
//3.执行get请求，相当于在输入地址栏后敲回车键
response = httpClient.execute(request);
//4.判断响应状态为200，进行处理
if (response.getStatusLine().getStatusCode() == HttpStatus.SC_OK) {
//5.获取响应内容
HttpEntity httpEntity = response.getEntity();
String html = EntityUtils.toString(httpEntity, "utf-8");
// log.info("开始 获取网址html信息=======================================================================");
// log.info(html);
// log.info("结束 获取网址html信息=======================================================================");
// 解析html
log.info("开始 解析第[" + totalPage + "]页html信息=======================================================================");
String nextPageSuffix = parseWebPage(html);
log.info("结束 解析第[" + totalPage + "]页html信息=======================================================================");
totalPage++;
// 此处是在网站上观察到只有200页跳转，所以就设置了200次，递归调用。也可以用多线程提高效率。
if (totalPage <= 200) {
getHttpPageInfo(WEB_PAGE_URL + nextPageSuffix);
}
} else {
//如果返回状态不是200，比如404（页面不存在）等，根据情况做处理，这里略
log.error("返回状态不是200");
log.error("EntityUtils.toString(response.getEntity(), \"utf-8\")" + EntityUtils.toString(response.getEntity(), "utf-8"));
}
} catch (ClientProtocolException e) {
e.printStackTrace();
log.error("[" + WEB_PAGE_URL + "] 网址爬取时出现ClientProtocolException异常：" + e.getMessage());
} catch (IOException e) {
e.printStackTrace();
log.error("[" + WEB_PAGE_URL + "] 网址爬取时出现IOException异常：" + e.getMessage());
} finally {
//6.关闭
HttpClientUtils.closeQuietly(response);
HttpClientUtils.closeQuietly(httpClient);
}
}
/**
* Jsoup解析
*/
public String parseWebPage(String html) {
// 解析html字符串
Document document = Jsoup.parse(html);
// 主要用到CSS选择器知识
// 找到html中文章list所在位置，选中它。此处用id选择器
Element postList = document.getElementById("post_list");
// 找到list下所有文章，此处用类选择器
Elements postItems = postList.getElementsByClass("post-item");
// 循环处理每一个文章
for (Element postItem : postItems) {
Elements titleEle = postItem.select(".post-item-title");
System.out.println("文章标题:" + titleEle.text());
System.out.println("文章地址:" + titleEle.attr("href"));
// 组合选择器，父类选择器>子类选择器
Elements footEle = postItem.select(".post-item-foot>.post-item-author");
System.out.println("文章作者:" + footEle.text());
System.out.println("作者主页:" + footEle.attr("href"));
System.out.println("*********************************");
}
// 找到页面上“下一页”的元素，找出其中跳转的参数，递归调用解析所有页的信息
Element paging_block = document.getElementById("paging_block");
Elements pageNum = paging_block.select(".pager a:last-child");
String nextPage = pageNum.attr("href");
System.out.println(nextPage);
return nextPage;
}
}
NOTE：
简单的爬虫小体验没什么难度，代码复制上去，网站一换就能捕捉到html页面信息了。
1、主要是要获取到自己想要的内容，得稍微地学一下CSS选择器，尤其是各种组合选择器，能让你更快捷找到自己想要爬取的元素，大幅度降低代码量。
2、获取代理IP的方法
百度一搜一大堆。我也是随便搜了一个： https://www.zdaye.com/dayProxy/ip/333314/2.html
效果：
image.png
二、爬虫提醒：
现在各大网站好多都有反爬虫，有些内容是禁止爬取的，如果爬到了可能就会有一些麻烦。所以在练习之前最好查一下。我爬的是博客园，信息都让爬，没有禁止内容。
查询方法：网址+/robots.txt
如：www.baidu.com/robots.txt 点开你会看到以下内容
Disallow后面就是禁止爬取的目录。
User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh
User-agent: Googlebot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh
User-agent: MSNBot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh
如：https://www.cnblogs.com/robots.txt
没有禁止目录
User-Agent: *
Allow: /robots协议的内容规范
robots协议的内容规范
User-agent: 表明爬虫名字
Disallow: 表示禁止爬取的页面
Allow: 表示允许爬取的页面
Sitemap: 表示网站地图
*: 表示任意长度的任意字符
$: 表示结尾
/: 表示这级文件夹下的所有文件
可以发现，这和这正则表达式有点相似，不过，?和.没有特别的含义，/也不需要转义
有关页面的写法：
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图