使用Jsoup模拟登录网站并精确抓取数据

一，Jsoup是什么？有什么用？
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
中文版的参考文档是：http://www.open-open.com/jsoup/

二，使用Jsoup模拟登录GitHub
因为最近接到需求，在完全不动原系统的代码的情况下（因为系统太老，已经没人看得懂里面的代码了），实现一个推送信息的功能。因为所有的数据都需要从页面上获得，所以需要模拟登录系统，然后抓取要推送的数据。

我所理解的模拟登录，是在不打开浏览器的情况下，在代码里面模拟浏览器发送登录请求，得到登录请求返回的数据的一种功能，反正都是要获得数据并操作数据的。

模拟登录的原理：
总的来说，模拟发送请求，是浏览器发送什么，我们在代码里面就发送什么，包括请求的url，请求的参数，请求的方式，及请求头。既然是登录请求，则满足登录请求所需的条件即可。这里的重点是确定登录表单的参数，确定发送登录请求时所需的参数，以及这些参数被传到哪里去了。

下面分析模拟登录GitHub：
（1）首先我们用谷歌浏览器打开GitHub的登录页，f12看到如下信息：

（2）我们按正常流程登录GitHub，找到/session的请求。

由上图可以看出，表单数据全部被提交到/session请求。
（3）编码

import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.jsoup.Connection;
import org.jsoup.Connection.Method;
import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class GITHUBLoginApater {

	public static String LOGIN_URL = "https://github.com/login";
    public static String USER_AGENT = "User-Agent";
    public static String USER_AGENT_VALUE = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0";
    
    public static void main(String[] args) throws Exception {
 
        simulateLogin("tanwenfang", "511t821z805t428w"); // 模拟登陆github的用户名和密码
 
    }
 
    /**
     * @param userName 用户名
     * @param pwd 密码
     * @throws Exception
     */
    public static void simulateLogin(String userName, String pwd) throws Exception {
 
        /* 
         * 第一次请求 
         * grab login form page first
         * 获取登陆提交的表单信息，及修改其提交data数据（login，password）
         */
        // get the response, which we will post to the action URL(rs.cookies())
        Connection con = Jsoup.connect(LOGIN_URL);  // 获取connection
        con.header(USER_AGENT, USER_AGENT_VALUE);   // 配置模拟浏览器
        Response rs = con.execute();                // 获取响应
        Document d1 = Jsoup.parse(rs.body());       // 通过Jsoup将返回信息转换为Dom树
        List eleList = d1.select("form");  // 获取提交form表单，可以通过查看页面源码代码得知
 
        // 获取cooking和表单属性
        // lets make data map containing all the parameters and its values found in the form
        Map datas = new HashMap<>();
        for (Element e : eleList.get(1).getAllElements()) {
            // 设置用户名
            if (e.attr("name").equals("login")) {
                e.attr("value", userName);
            }
            // 设置用户密码
            if (e.attr("name").equals("password")) {
                e.attr("value", pwd);
            }
            // 排除空值表单属性
            if (e.attr("name").length() > 0) {
                datas.put(e.attr("name"), e.attr("value"));
            }
        }
 
        /*
         * 第二次请求，以post方式提交表单数据以及cookie信息
         */
        Connection con2 = Jsoup.connect("https://github.com/session");
        con2.header(USER_AGENT, USER_AGENT_VALUE);
        // 设置cookie和post上面的map数据
        Response login = con2.ignoreContentType(true).followRedirects(true).method(Method.POST)
                                .data(datas).cookies(rs.cookies()).execute();
        // 打印，登陆成功后的信息
        System.out.println(login.body());
 
        // 登陆成功后的cookie信息，可以保存到本地，以后登陆时，只需一次登陆即可
        Map map = login.cookies();
        for (String s : map.keySet()) {
            System.out.println(s + " : " + map.get(s));
        }  
    }
}

输出如下：

user_session:vbKDEuVP9CcYiTDJ9PgjBk_S7avOTTqGZMe6OknQXx2xYWn6
__Host-user_session_same_site:vbKDEuVP9CcYiTDJ9PgjBk_S7avOTTqGZMe6OknQXx2xYWn6
has_recent_activity:1
_gh_sess:UXhtTC9IM3hCVTVzR3dCS3ZCTFNCa0twdEpuTTJxZXdFZmRPbW1rSU9KUjdjbFpYeTE3VXRlV2NabzczQmVsL1c0bFZhL0lkeDZlOXZLOHRia0VBRGNVb2htVkYrUVlHMlRReGo3WjRtY1pvNGFqRzY4WVRjRjc1b3A0ZjFhU0lDOFVuOTFpcVpXTmpSc2ZDT3o2N2pyeXVFYjVBRGViOVJGY3Q3WTgzOENVU1lLNDl4K1dUTVhEY2pteENXV1I5LS1CTmxwNHRUU2J6MWYzaXZDWlBxT1FBPT0%3D--1a9be16d5fb8819b7f7914eff1a18e6b55175ca3
_octo:GH1.1.1256450890.1550226759
logged_in:yes
dotcom_user:tanwenfang

根据返回的cookies，可以判断此时登录成功，然后我们就可以带着cookies去请求各种url了。

三，登录之后进行数据分析，精确抓取数据。
根据上面的代码，我们不仅获取了cookies，还获取了登录之后返回的网页源码，此时有如下几种种情况：
（1）若我们所需的数据就在登录之后返回的源码里面，那么我们就可以直接通过Jsoup去解析源码了，然后利用Jsoup的选择器功能去筛选出我们需要的信息；
（2）若需要的数据是需要通过请求源码里的链接得到，那么我们就先解析源码，找出这个url，然后带上cookies模拟请求这个url就可以了。
（3）若我们所需的数据完全不在源码里面，那么我们就可以不用管这个源码了。我们看浏览器，打开谷歌的network，查找分析所有url的请求和响应结果，一般情况下，总能找到那一个url（一般这个url是一个固定的url，可能参数会不一样），其返回的数据是我们期望的，然后我们模拟请求这个url，带上cookies就可以请求了。

写在最后：一开始写模拟登录得时候，总觉得数据一定要在网页源码里面才能获取，所以当一个网页是由一堆js组成得就傻眼了。然后就希望能够获取渲染后的网页源码，这时候碰到了phantomjs，但是网上资料能说明白的很少，我还没理解，就放弃这种方式了。后来在一个QQ群碰到一个大神，教我用这种方式，去做数据分析。虽然这不是完美的解决方法，但是比较好理解，容易上手，暂时解决了问题。不过个人认为获取渲染后的网页的做法能适应大多数情况。

参考文章：
https://blog.csdn.net/dietime1943/article/details/73294442
https://blog.csdn.net/dietime1943/article/details/78974194