通过selenium来模拟登录，获取登录后的cookies

背景

抓取序需要登录的页面数据。
操作需要登录权限的资源。

实验环境

• windows 7
• firefox_v50.1.0
• geckodriver_v0.14

简介

Selenium webdriver 是一个用于web应用程序的自动化测试工具。
具有一系列的API来操作浏览器。
可以模拟用户操作页面元素。

主要步骤

1. 配置参数，初始化driver
2. 加载url
3. 等待页面加载
4. 获取页面元素
5. 操作页面元素
6. 提交表单
7. 获取 cookies
8. 保存cookies

注意事项

• 老的版本上，会要设置firefox的路径，但是这个版本只需要设置gecko的路径。gecko需要在git上下载下来。
• 因为是开启浏览器加载页面，所以需要一些延时来等待页面加载。可以设置时间，也可以设置检测某个元素存在等。
• cookies是保存到了org.apache.http.client.CookieStore中，然后序列化到文件中，用于下次读取，用httpclient来抓数据。

所需要的依赖

在pom.xml的dependencies中加入

    <dependency>
        <groupId>org.apache.httpcomponentsgroupId>
        <artifactId>fluent-hcartifactId>
        <version>4.5.2version>
    dependency>
    <dependency>
        <groupId>org.seleniumhq.seleniumgroupId>
        <artifactId>selenium-firefox-driverartifactId>
        <version>3.0.1version>
    dependency>

登录csdn的示例代码

package firefox;

import java.io.File;
import java.io.FileOutputStream;
import java.io.ObjectOutputStream;
import java.util.Iterator;
import java.util.Set;
import java.util.concurrent.TimeUnit;

import org.apache.http.client.CookieStore;
import org.apache.http.impl.client.BasicCookieStore;
import org.apache.http.impl.cookie.BasicClientCookie;
import org.openqa.selenium.By;
import org.openqa.selenium.Cookie;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.firefox.FirefoxDriver;

public class Main {

    /**
     * 模拟csdn登录，获取登录后的cookies保存到文件
     * 
     * @param username
     *            用户名
     * @param password
     *            密码
     * @param geckodriverpath
     *            gecko的路径（见https://github.com/mozilla/geckodriver）
     * @param savecookiepath
     *            cookies保存的路径
     * @throws Exception
     */
    public static void firfoxDriverGetCookies(String username, String password, String geckodriverpath,
            String savecookiepath) throws Exception {
        // 初始化参数据
        System.setProperty("webdriver.gecko.driver", geckodriverpath);
        FirefoxDriver driver = new FirefoxDriver();
        String baseUrl = "https://passport.csdn.net/account/login?ref=toolbar";
        // 加载url
        driver.get(baseUrl);
        // 等待加载完成
        driver.manage().timeouts().implicitlyWait(30, TimeUnit.SECONDS);
        // 获取页面元素
        WebElement elemUsername = driver.findElement(By.name("username"));
        WebElement elemPassword = driver.findElement(By.name("password"));
        WebElement btn = driver.findElement(By.className("logging"));
        WebElement rememberMe = driver.findElement(By.id("rememberMe"));
        // 操作页面元素
        elemUsername.sendKeys(username);
        elemPassword.sendKeys(password);
        rememberMe.click();
        // 提交表单
        btn.submit();
        Thread.sleep(5000);
        driver.get("http://msg.csdn.net/");
        Thread.sleep(5000);
        // 获取cookies
        driver.manage().getCookies();
        Set.openqa.selenium.Cookie> cookies = driver.manage().getCookies();
        System.out.println("Size: " + cookies.size());
        Iterator.openqa.selenium.Cookie> itr = cookies.iterator();

        CookieStore cookieStore = new BasicCookieStore();

        while (itr.hasNext()) {
            Cookie cookie = itr.next();
            BasicClientCookie bcco = new BasicClientCookie(cookie.getName(), cookie.getValue());
            bcco.setDomain(cookie.getDomain());
            bcco.setPath(cookie.getPath());
            cookieStore.addCookie(bcco);
        }
        // 保存到文件
        ObjectOutputStream oos = new ObjectOutputStream(new FileOutputStream(new File(savecookiepath)));
        oos.writeObject(cookieStore);
        oos.close();

    }

    public static void main(String[] args) throws Exception {

        firfoxDriverGetCookies("<用户名>", "<密码>", "C:/bin/geckodriver.exe", "cookie.ser");
    }
}

参考

• Webdriver中文社区
• 基于 Selenium WebDriver 的 Web 应用自动化测试
• mozilla/geckodriver
• Selenium WebDriver