java的HttpClient详解;

java的HttpClient详解

1:简介

      多应用于对接第三方,和爬虫。

       HttpClient是Apache Jakarta Common下的子项目,用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包,并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中。

2:使用

使用HttpClient发送请求、接收响应很简单,一般需要如下几步即可。

1. 创建HttpClient对象。

2. 创建请求方法的实例,并指定请求URL。如果需要发送GET请求,创建HttpGet对象;如果需要发送POST请求,创建HttpPost对象。

3. 如果需要发送请求参数,可调用HttpGet、HttpPost共同的setParams(HetpParams params)方法来添加请求参数;对于HttpPost对象而言,也可调用setEntity(HttpEntity entity)方法来设置请求参数。

4. 调用HttpClient对象的execute(HttpUriRequest request)发送请求,该方法返回一个HttpResponse。

5. 调用HttpResponse的getAllHeaders()、getHeaders(String name)等方法可获取服务器的响应头;调用HttpResponse的getEntity()方法可获取HttpEntity对象,该对象包装了服务器的响应内容。程序可通过该对象获取服务器的响应内容。

6. 释放连接。无论执行方法是否成功,都必须释放连接

3:示例
public static void main(String[] args) throws Exception {
	 CloseableHttpClient client = HttpClients.createDefault();//创建实例;
	 HttpGet httpGet = new HttpGet("http://www.csdn.net/");//get请求
	 CloseableHttpResponse response = client.execute(httpGet);//发送请求
	 HttpEntity entity = response.getEntity();//获取实例
	  String string = EntityUtils.toString(entity,"UTF-8");//转化字符串
	  System.out.println(string);
	  response.close();
	  client.close();
}

    模拟看下csdn首页的信息:

java的HttpClient详解;_第1张图片

这就是了,当然有些网站是有检测请求是不是浏览器发出,比如:https://www.tuicool.com/ 推客。你要获取这个网站的信息的话,就是获取不下来。

java的HttpClient详解;_第2张图片

像这样的,我们也是有解决办法的,就是模拟浏览器的响应头信息;

java的HttpClient详解;_第3张图片

找到这个User-Agent:.....;

public static void main(String[] args) throws Exception {
	 CloseableHttpClient client = HttpClients.createDefault();//创建实例;
	 HttpGet httpGet = new HttpGet("http://www.tuicool.com/");//get请求
	   httpGet.setHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36");
	 CloseableHttpResponse response = client.execute(httpGet);//发送请求
	 HttpEntity entity = response.getEntity();//获取实例
	  String string = EntityUtils.toString(entity,"UTF-8");//转化字符串
	  System.out.println(string);
	  response.close();
	  client.close();
}

加上setHeader,添加响应头。之后把复制粘贴过来。就可以获取到了。

java的HttpClient详解;_第4张图片

OK!

像是对接第三方,请参考对接环信实例。即可。本人也在学习中,记录点滴。

你可能感兴趣的:(java爬虫,HttpClient)