java+webMagic+selenium

1、引入相关包 

       
        
            us.codecraft
            webmagic-core
            ${webmagic.version}
        
        
            us.codecraft
            webmagic-extension
            ${webmagic.version}
        
        
        

         
            us.codecraft
            webmagic-selenium
            ${webmagic.version}
       
       
       
            com.google.guava
            guava
            25.0-jre
        

2、我使用的chrome浏览器，版本 78.0.3904.70

驱动下载地址(驱动的版本与浏览器版本要严格一致)：http://npm.taobao.org/mirrors/chromedriver/

(windows-32位的)

下载驱动后，将驱动所在的目录路径放入windows的环境变量path中去。

然后就可以测试了：

public class SeleniumTest {
	public static void main(String[] args) {
        // 第一步： 设置chromedriver地址。一定要指定驱动的位置。
        System.setProperty("webdriver.chrome.driver",
        		"C://xxx//misjey//chromedriver_win32//78.0.3904.70_win32//chromedriver.exe");
        // 第二步：初始化驱动
        WebDriver driver = new ChromeDriver();
        // 第三步：获取目标网页
        driver.get("http://blog.csdn.net/wgyscsf/article/details/52835845");
        // 第四步：解析。以下就可以进行解了。使用webMagic、jsoup等进行必要的解析。
        System.out.println("Page title is: " + driver.getTitle());
        System.out.println("Page title is: " + driver.getPageSource());
    }
}