2018-08-02 1 利用WebView获取网页静态网页的数据

关于webview的使用,这里不多做赘述,不会使用的可以找度娘,这里主要实现如何利用webview分别获取静态和动态页面的数据及如何解析获得的数据

//在页面中加载WebView控件
private WebView webView;
private FrameLayout flWebContent
webView = new WebView(this);
flWebContent.addView(webView);

//设置webview属性
webView.getSettings().setJavaScriptEnabled(true);
webView.getSettings().setCacheMode(WebSettings.LOAD_NO_CACHE);
webView.getSettings().setAllowFileAccess(true);
webView.getSettings().setAppCacheEnabled(true);
webView.getSettings().setDomStorageEnabled(true);
webView.getSettings().setDatabaseEnabled(true);
webView.getSettings().setSupportZoom(true);
webView.getSettings().setBuiltInZoomControls(true);
webView.getSettings().setLoadWithOverviewMode(true);

WebViewClient类

在加载页面时不得不提的一个类,webviewClient类,此类一般用来处理各种通知及请求事件,另外,如果在app内嵌套webview,且不想让其调起系统浏览器时,就需调用这个类,而且想要拦截网页中的ajax请求时,也需要在此类中操作

 webView.setWebViewClient(new WebViewClient() {
  private String substring;
  private String newurls;

//打开网页时不调用系统浏览器， 而是在本WebView中显示；在网页上的所有加载都经过这个方法,这个函数我们可以做很多操作
  @Override public boolean shouldOverrideUrlLoading(WebView view, String url) {
    if (url.contains("pay_order_id=") || url.contains("bizOrderId")) {

    }
  }

  @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Override
  public boolean shouldOverrideUrlLoading(WebView view, WebResourceRequest request) {
    return false;
  }

//在加载页面资源时会调用，每一个资源（比如图片）的加载都会调用一次
  @Override public void onLoadResource(WebView view, String url) {
    super.onLoadResource(view, url);
  }

//开始载入页面调用的，我们可以设定一个loading的页面，告诉用户程序在等待网络响应。
  @Override public void onPageStarted(WebView view, String url, Bitmap favicon) {
    super.onPageStarted(view, url, favicon);
  }

//此方法用来拦截网页中的网络请求,稍后另看
  @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Nullable @Override
  public WebResourceResponse shouldInterceptRequest(WebView view, WebResourceRequest request) {
    return super.shouldInterceptRequest(view, request);
  }

//在页面加载结束时调用,可以关闭loading 条，切换程序动作,另外正在加载HTTP响应的body内容，也会回调该方法，获取对应url地址
  @Override public void onPageFinished(WebView view, String url) {     
    super.onPageFinished(view, url);
  }

//加载给定url资源内容
  @Override public void onPageCommitVisible(WebView view, String url) {
    super.onPageCommitVisible(view, url);
  }

//加载页面的服务器出现错误时（如404）调用
  @Override public void onReceivedError(WebView view, int errorCode, String description,
      String failingUrl) {
    super.onReceivedError(view, errorCode, description, failingUrl);
  }

//webView默认是不处理https请求的，页面显示空白，需要进行如下设置
  @Override
  public void onReceivedSslError(WebView view, SslErrorHandler handler, SslError error) {
    super.onReceivedSslError(view, handler, error);
    // 特别注意：5.1以上默认禁止了https和http混用，以下方式是开启 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) { mWebView.getSettings().setMixedContentMode(WebSettings.MIXED_CONTENT_ALWAYS_ALLOW); }
  }
});

获取网页数据

在上述的onPageFinished()方法中获取url后,想要获取body中的内容,一般有两种方式,一种是,利用jsoup抓取数据(网上关于此类的博客很多),另一种是利用与js的交互获取,下面所使用的就是第二种方式

*****不得不说,如果要与js交互,在初始化webview的类上应该机上此注解@SuppressLint("SetJavaScriptEnabled")**

调用js的方法

public final class InJavaScriptLocalObj {
@JavascriptInterface public void showSource(String html) {
   Log.i("====>html1=" + html);
}

@JavascriptInterface public void showDescription(String str) {
  List list = new ArrayList<>();
  Log.i("====>html2=" + str);
//获取body后的过滤,下面所用是获取某个字符的过滤方式,总体来说比较繁琐,亦可以用别的方式,自行斟酌
  String[] split = str.trim().split("

"); for (int i = 0; i < split.length; i++) { String s = split[i]; if (s.contains("

在onPageFinished()方法中调用上面的方式,获取body

@Override public void onPageFinished(WebView view, String url) {
    //System.out.println("url==" + url);
    // 获取页面内容
    view.loadUrl(
        "javascript:window.java_obj.showSource(document.getElementsByIdName('storage')[0].innerHTML);");

   //获取ul索引为1的页面内容
    view.loadUrl(
        "javascript:window.java_obj.showDescription(document.getElementsByTagName('ul')[1].innerHTML);");

    super.onPageFinished(view, url);
  }

2若是网页动态加载时,拦截网页的请求获取body值

WebView的初始化和WebViewClient类和静态加载时写法相同,不同的是,拦截网页请求的操作需要在shouldInterceptRequest()方法中完成

@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Override
  public boolean shouldOverrideUrlLoading(WebView view, WebResourceRequest request) {
    String url = request.getUrl().toString();
    if (url.contains("pay_order_id=") || url.contains("bizOrderId")) {
    }
    return false;
  }

  @Override public void onLoadResource(WebView view, String url) {
    super.onLoadResource(view, url);
  }

  @Override public void onPageStarted(WebView view, String url, Bitmap favicon) {
    super.onPageStarted(view, url, favicon);
  }

  @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Nullable @Override
  public WebResourceResponse shouldInterceptRequest(WebView view, WebResourceRequest request) {

//利用域名过滤url,获取自己需要的url(下面仅为GET方式,post以后再补上)
    if ("xxx.com".equals(request.getUrl().getAuthority())) {
//Android中拦截时,无法同步到cookie,此时需要根绝url自己获取所需的cookie
      CookieManager cookieManager = CookieManager.getInstance();
      String cookie = cookieManager.getCookie(request.getUrl().toString());
//利用JSoup重新发起请求
      Connection con = Jsoup.connect(request.getUrl().toString());
      //请求头设置，特别是cookie设置
      con.header("Accept", request.getRequestHeaders().get(1));
      con.header("Content-Type", "application/x-www-form-urlencoded");
      con.header("Accept-Encoding", "gzip, deflate");
      con.header("Accept-Language", "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3");
      con.header("Upgrade-Insecure-Requests", request.getRequestHeaders().get(1));
      con.header("User-Agent", request.getRequestHeaders().get(0));
      con.header("Cookie", cookie);
//解析请求结果
      try {
        Connection.Response doc = con.timeout(10000).ignoreContentType(true).execute();
        String body = doc.body().toString();
//抓取后的body数据可能并非是标准的json格式,此时就需要自己手动去处理
        int i = body.indexOf("(");
        substring = body.substring(i + 1, body.length() - 1);
        Gson gson = new Gson();
        JsonEntity jsonEntity = gson.fromJson(substring, JsonEntity.class);
        
      } catch (IOException e) {
        e.printStackTrace();
      } catch (JSONException e) {
        e.printStackTrace();
      }
    }
//打印处理后的数据
    Log.i("doc===" + substring);
    return super.shouldInterceptRequest(view, request);
  }

注意:有时候获取到的json数据也是非常变态的,例如以动态的数据或者汉字作为key值,这种类型的数据,定是非常不好解析,如果想要解析,可以研究研究SerializedName这个注解,当然,如果只是想要单纯的获取某个字段或某个值,也可将json数据转化为Map集合,然后在通过遍历获取,至于转化的方式,且听下回分解