android中获取网页cookie的工具方法

1.应用场景

我自己的应用场景是，做一个股票分时图控件demo，需要抓取同花顺网站上的分时图数据，但是这个分时图数据的链接做了cookie校验，直接用httpurlconnection访问，返回403。这个分时图数据的链接在浏览器上也是不能直接打开的，先要在浏览器上访问同花顺股票的其他网页链接，网页里面会加载一段js代码，js代码会设置cookie。这个工具类就是模仿浏览器，先加载普通网页，得到网页里js代码设置的cookie。

2.实现原理

由于我对http协议没那么熟悉，js代码更是完全不了解，所以想到了用android系统提供的WebView方式，先用WebView加载同花顺普通网页，在WebView设置的WebClient的回调中，通过系统API获取到cookie数据。

3.工具类源码

package com.rzc.util;

import android.app.Activity;
import android.text.TextUtils;
import android.webkit.CookieManager;
import android.webkit.WebView;
import android.webkit.WebViewClient;

/**
 * Created by rzc on 17/11/7.
 */

public class CookieUtil {
    public static void getCookie(Activity activity, final String url,
                                 final OnCookieLoadedListener cookieLoadedListener) {
        final WebView webView = new WebView(activity);
        webView.setWebViewClient(new WebViewClient() {
            public void onPageFinished(WebView view, String url) {
                super.onPageFinished(view, url);
                if (cookieLoadedListener != null) {
                    CookieManager cookieManager = CookieManager.getInstance();
                    String cookie = cookieManager.getCookie(url);
                    if (!TextUtils.isEmpty(cookie)) {
                        webView.setWebViewClient(null);
                        cookieLoadedListener.onCookieLoaded(cookie);
                    }
                }
            }
        });
        webView.getSettings().setJavaScriptEnabled(true);
        webView.loadUrl(url);
    }

    public interface OnCookieLoadedListener {
        void onCookieLoaded(String cookie);
    }
}

4.下面再贴出上面提到的获取同花顺股票分时图数据的代码

    //这里code是股票代码，比如工商银行的601398；cookie通过上面的工具方法得到，工具方法的url参数为"http://stockpage.10jqka.com.cn/" + code
    private static void doDownload(String code, String cookie) {
        String url = "http://d.10jqka.com.cn/v2/time/hs_" + code + "/last.js";
        HttpURLConnection connection = null;
        try {
            connection = (HttpURLConnection) new URL(url).openConnection();
            connection.setRequestMethod("GET");
            connection.setConnectTimeout(10 * 1000);
            connection.setReadTimeout(10 * 1000);
            //同花顺网站做了cookie跟referer的校验，referer是固定的，cookie会隔断时间就更新
            connection.setRequestProperty("cookie", cookie);
            connection.setRequestProperty("referer", "http://stockpage.10jqka.com.cn/HQ_v3.html");

            int responseCode = connection.getResponseCode();

            BufferedReader br = null;

            StringBuilder sb = new StringBuilder();

            if (responseCode == HttpURLConnection.HTTP_OK) {
                br = new BufferedReader(new InputStreamReader(connection.getInputStream()));
                String line = null;
                while ((line = br.readLine()) != null) {
                    sb.append(line).append("\n");
                }

                br.close();
                System.out.println(br.toString());//这里就是获取到分时图数据
            } else {
                if (responseCode == HttpURLConnection.HTTP_FORBIDDEN) {
                    //同花顺服务器做了cookie校验，调用这个方法如果捕捉到Error，则用获取cookie的工具方法刷新得到最新的cookie再调用此方法重试
                    throw new Error("403");
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (connection != null) {
                try {
                    connection.disconnect();
                } catch (Exception e) {
                    e.printStackTrace();
                }

            }
        }
    }