Java编程学习实现多种方式的http数据抓取

Java是一种可以撰写跨平台应用软件的面向对象的程序设计语言。Java 技术具有卓越的通用性、高效性、平台移植性和安全性，广泛应用于PC、数据中心、游戏控制台、科学超级计算机、移动电话和互联网，同时拥有全球最大的开发者专业社群。

给你学习路线：html-css-js-jq-javase-数据库-jsp-servlet-Struts2-hibernate-mybatis-spring4-springmvc-ssh-ssm

前言：

时下互联网第一波的浪潮已消逝，随着而来的基于万千数据的物联网时代，因而数据成为企业的重要战略资源之一。基于数据抓取技术，本文介绍了Java相关抓取工具，并附上demo源码供感兴趣的朋友测试！

1）JDK自带HTTP连接，获取页面或Json

小编推荐一个学Java的学习裙【 六五零，五五四，六零七 】，无论你是大牛还是小白，是想转行还是想入行都可以来了解一起进步一起学习！裙内有开发工具，很多干货和技术资料分享！

2） JDK自带URL连接，获取页面或Json

3）HttpClient Get工具，获取页面或Json

4）commons-io工具，获取页面或Json

5） Jsoup工具（通常用于html字段解析），获取页面,非Json返回格式】

完整代码：

package com.yeezhao.common.http;import java.io.BufferedReader;import java.io.InputStream;import java.io.InputStreamReader;import java.net.HttpURLConnection;import java.net.URL;import org.apache.commons.httpclient.HttpClient;import org.apache.commons.httpclient.HttpMethod;import org.apache.commons.httpclient.methods.GetMethod;import org.apache.commons.io.IOUtils;import org.jsoup.Jsoup;/**

测试代码：

小编推荐一个学Java的学习裙【 六五零，五五四，六零七 】，无论你是大牛还是小白，是想转行还是想入行都可以来了解一起进步一起学习！裙内有开发工具，很多干货和技术资料分享！

package com.yeezhao.common.http;import org.junit.After;import org.junit.Before;import org.junit.Test;/**

附：相关jar依赖

...

小编推荐一个学Java的学习裙【 六五零，五五四，六零七 】，无论你是大牛还是小白，是想转行还是想入行都可以来了解一起进步一起学习！裙内有开发工具，很多干货和技术资料分享！

后语：

现在的数据时代，有着"数据即财富"的理念。因此，数据抓取技术将一直发展更新，基于此后续还将扩充针对POST方法的抓取方式，敬请期待！