使用java+selenium+jsoup爬搜狗微信文章

爬取最近的文章，有问题可以交流，新人爬手！！

 static WebDriver driver = null;

    public void test() {

        if (driver == null) {

            System.setProperty("webdriver.chrome.driver", "d://chromedriver.exe");
            System.getProperties().setProperty("webdriver.chrome.driver", "d://chromedriver.exe");
            driver = new ChromeDriver();
        }

        driver.get("https://weixin.sogou.com");
        driver.findElement(By.id("query")).sendKeys("公众号");
        driver.findElement(By.xpath("//*[@uigs='search_account']")).click();
        Thread.sleep(2000);
        WebElement el = driver.findElement(By.xpath("//*[@uigs='account_name_0']"));
        Thread.sleep(2000);
        JavascriptExecutor js = (JavascriptExecutor) driver;
        js.executeScript("arguments[0].target=''", el);
        Thread.sleep(2000);
        driver.findElement(By.xpath("//*[@uigs='account_name_0']")).click();
        Thread.sleep(2000);
        WebElement webElement = driver.findElement(By.xpath("/html"));
        String responseContent = webElement.getAttribute("outerHTML");
        Document doc = Jsoup.parse(responseContent);
        this.getDetail(doc);
        Thread.sleep(2000);
    }

public void getDetail(Document doc) {

        String littleimg = doc.getElementsByClass("profile_avatar").select("img").get(0).attr("src");
        String html = doc.html();
        int index = html.indexOf("msgList");
        String msglist = html.substring(index, html.indexOf("};", index)).replace("msgList = ", "");
        msglist += "}";
        Map data = new HashMap();
        List> datalist = new ArrayList>();
        JSONObject json = null;
        json = JSONObject.fromObject(msglist);
        String firstUrl = JSONObject.fromObject(json.getJSONArray("list").get(0)).getJSONObject("app_msg_ext_info")
                .get("content_url").toString();
        String firstDesc = JSONObject.fromObject(json.getJSONArray("list").get(0)).getJSONObject("app_msg_ext_info")
                .get("digest").toString();
        String firsttitle = JSONObject.fromObject(json.getJSONArray("list").get(0)).getJSONObject("app_msg_ext_info")
                .get("title").toString();
        String firstauthor = JSONObject.fromObject(json.getJSONArray("list").get(0)).getJSONObject("app_msg_ext_info")
                .get("author").toString();
        String firstimg = JSONObject.fromObject(json.getJSONArray("list").get(0)).getJSONObject("app_msg_ext_info")
                .get("cover").toString();
        String datetime = JSONObject.fromObject(json.getJSONArray("list").get(0)).getJSONObject("comm_msg_info")
                .get("datetime").toString();
        data.put("url", firstUrl);
        data.put("Desc", firstDesc);
        data.put("title", firsttitle);
        data.put("author", firstauthor);
        data.put("img", firstimg);
        datalist.add(data);
        JSONArray jsonarray = JSONObject.fromObject(json.getJSONArray("list").get(0)).getJSONObject("app_msg_ext_info")
                .getJSONArray("multi_app_msg_item_list");
        Iterator