webmagic+selenium模拟浏览器启动（动态网页爬取方法之一的第一步）

现在绝大多数网页都是动态生成的，那么学习爬虫就意味着更加困难。若是静态网页，只需要了解如何连接网络和分析网页源代码提取标签信息即可，但是动态网页的话，就需要使用到一些特定的框架来爬取了。比较实用的爬取动态网页信息的其中一个工具就是selenium了。先来看看要怎样使用webmagic和selenium来模拟浏览器启动吧。

代码如下所示：

import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.downloader.selenium.SeleniumDownloader;
import us.codecraft.webmagic.processor.example.GithubRepoPageProcessor;

public class LiuLanQiTest {

	public static void main(String[] args) {
		// TODO Auto-generated method stub
		//selenium系统配置，其中的路径写自己config文件的路径
		System.setProperty("selenuim_config", "D:\\jse-workspace\\WebMagicTest\\Study\\src\\main\\java\\Four\\config.ini");	
		Spider.create(new GithubRepoPageProcessor())//调用一个webmagic中封装好的一个网页爬取类
		.addUrl("http://www.baidu.com")//要爬取的网页
		//浏览器驱动（动态网页信息通过模拟浏览器启动获取）
		.setDownloader(new SeleniumDownloader("D:\\ChromeDriver\\chromedriver_win32(2)\\chromedriver.exe"))
		.thread(3)//启动n个线程（此语句表示启动3个线程）
		.run();//启动爬虫，会阻塞当前线程执行（及n个线程不是同时执行的）
//		。runAsync();//启动爬虫，当前线程继续执行（及n个线程同时执行）
		}
}

当出现如下页面时，说明启动浏览器成功。

！！！需要注意的是，用此代码模拟浏览器启动的时候，要先将webmagic和selenium所需要的包全部导入到所建项目中，并且下载过chrome驱动。

若创建的项目是maven项目，则可以直接在pom.xml文件中加入如下语句：

    	
	    us.codecraft
	    webmagic-core
	    0.7.3
	
	
	    us.codecraft
	    webmagic-extension
	    0.7.3
	
	
		us.codecraft
		webmagic-selenium
		0.7.3
	
	
		org.seleniumhq.selenium
		selenium-java
		3.0.1
	
	
		org.seleniumhq.selenium
		selenium-chrome-driver
		3.0.1
	
	
		org.seleniumhq.selenium
		selenium-server
		2.18.0
	

再有就是要在所建项目下新建config配置文件，文件内容可以参照我的config.ini文件来写，文件内容如下：

# What WebDriver to use for the tests
#driver=phantomjs
#driver=firefox
driver=chrome
#driver=http://localhost:8910
#driver=http://localhost:4444/wd/hub

# PhantomJS specific config (change according to your installation)
#phantomjs_exec_path=/Users/Bingo/bin/phantomjs-qt5
#phantomjs_exec_path=d:/phantomjs.exe
chrome_exec_path=C:\Users\sky\AppData\Local\Google\Chrome\Application\chrome.exe
#phantomjs_driver_path=/Users/Bingo/Documents/workspace/webmagic/webmagic-selenium/src/main.js
#phantomjs_driver_loglevel=DEBUG
chrome_driver_loglevel=DEBUG

其中的#表示注释。

在执行代码过程中若碰到其他问题，可以参考我前面的两个博客看能否将问题解决。

http://blog.csdn.net/without_scruple/article/details/78311942和http://blog.csdn.net/without_scruple/article/details/78312445