JAVA爬虫技术

总结：爬虫开发的两个核心技术

* Httpclient：帮助我们更好发送网络请求
* Jsoup：帮助我们更好的解析html。两个重点理解jar包

HTTPCLIENT的介绍(转)
JSOUP的介绍

使用maven创建Java工作环境并配置pom.xml
  
    
        org.apache.httpcomponents
            httpclient
        4.5.3
    
    
    
        org.jsoup
        jsoup
        1.10.3
    
    
    
        org.springframework
        spring-jdbc
        4.2.6.RELEASE
    

    
        mysql
        mysql-connector-java
        5.1.41
    
    
        c3p0
        c3p0
        0.9.1.2
    
    
        com.alibaba
        fastjson
        1.2.31
    
    
        com.google.code.gson
        gson
        2.8.1
    
    
    
        redis.clients
        jedis
        2.8.0