背景
最近一直在搞论坛的爬虫。爬着爬着，突然遇到一个论坛的反爬虫机制比较强。例如：http://bbs.nubia.cn/forum-64-1.html。当访问这个页面时，第一次返回的不是html页面，而是加密后的js内容，然后写入cookie，等待设置好的时间，然后跳转到真正的页面。 如下图：
- 想到的方案：
- 分析加密的js，看怎么计算出的cookie，是否有规律可以生成该cookie等，然后每次访问时带上此cookie即可。
- 使用Pypisder自带的PhantomJs脚本，以PhantomJs的方法执行这个加密的JS，然后获取html的内容。
- 使用Selenium +WebDriver + Headless Chrome的方式获取html的内容。
- 使用puppeteer + Headless Chrome获取html的内容。
- 分析方案：
分析加密的js不是件容易的事，要破解加密方法等难度相对较大，时间成本有限，暂时放弃。
本打算使用pyspider自带的phanthomjs方式，结果是phanthoms在访问上面的url时，一直处于卡死的状态;而且phantomjs的作者已经放弃维护它了，对于bug的修复和新的js语法支持力度不够。（需要进一步分析为什么会卡死？）
最终想到了selenium+webdriver+headlesschrome组合神器。想着如果能使用seleniu+chrome实现爬取动态页面，搭配pyspider爬取动态页面岂不是很爽。chrome是真正的浏览器，支持js特性比较全面，能真实的模拟用户请求，而且Chrome官方也出了针对headless chrome的api(node版本)，api的可靠性，支持chrome特性的力度都非常的好。
puppeteer 是nodejs版本的api， 对nodejs不熟悉，暂时先忽略。
Chrome
Chrome浏览器从59版本之后开始支持headless模式，用户可以在无界面下进行各种操作，例如：截图、把html输出PDF等等。MAC、Linux、Windows均有对应的Chrome，请根据平台进行下载、安装。更多headless chrome的用法可以参考：headless chrome用法
Selenium
Selenium是一个自动浏览器。虽然官方文档说Selenium是一个自动浏览器，但它并不是真正的浏览器，它只是可以驱动浏览器而已。Selenium是通过WebDriver来驱动浏览器的，每个浏览器都有对应的WebDriver。如果我们要用Chrome，就需要下载Chrome的WebDriver。
- Selenium官网
- Chromne WebDriver
Selenium有很多语言版本的，你可以选择使用java, python等版本的。我这里选择使用python版的。python版本的selenium可以通过pip进行安装：pip install selenium
下载WebDriver时需要选择对应的平台，比如我是在win上跑，下载的就是windows平台的。
配置PATH
把下载的WebDriver放在PATH环境变量可以加载到的位置，这样在程序中不用指定webDriver，会方便很多。
Python版本的Headless Chrome Web Server
- pyspider利用phantomjs爬取js动态页面的原理：
pyspider搜索PATH中的phantomjs命令，然后使用phantomsjs去执行phantomjs_fetcher.js，从而启动一个监听固定port的web server服务；当在Handler中的self.crawl(xxx)方法中带上fetch_type='js'参数时，pyspider便发请求给这个port，利用phantomjs去转发请求，访问js动态页面，从而爬虫动态页面。
如果我想利用selenium+chrome爬取动态页面，也需要实现一个web server，以便pyspider可以访问它，利用它转发请求。python版本的实现如下：
"""
selenium web driver for js fetcher
"""
import urlparse
import json
import time
import datetime
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from flask import Flask, request
app = Flask(__name__)
@app.route('/', methods=['POST', 'GET'])
def handle_post():
if request.method == 'GET':
body = "method not allowed!"
headers = {
'Cache': 'no-cache',
'Content-Length': len(body)
}
return body, 403, headers
else:
start_time = datetime.datetime.now()
raw_data = request.get_data()
fetch = json.loads(raw_data, encoding='utf-8')
print('fetch=', fetch)
result = {'orig_url': fetch['url'],
'status_code': 200,
'error': '',
'content': '',
'headers': {},
'url': '',
'cookies': {},
'time': 0,
'js_script_result': '',
'save': '' if fetch.get('save') is None else fetch.get('save')
}
driver = InitWebDriver.get_web_driver(fetch)
try:
InitWebDriver.init_extra(fetch)
driver.get(fetch['url'])
# first time will sleep 2 seconds
if InitWebDriver.isFirst:
time.sleep(2)
InitWebDriver.isFirst = False
result['url'] = driver.current_url
result['content'] = driver.page_source
result['cookies'] = _parse_cookie(driver.get_cookies())
except Exception as e:
result['error'] = str(e)
result['status_code'] = 599
end_time = datetime.datetime.now()
result['time'] = (end_time - start_time).seconds
# print('result=', result)
return json.dumps(result), 200, {
'Cache': 'no-cache',
'Content-Type': 'application/json',
}
def _parse_cookie(cookie_list):
if cookie_list:
cookie_dict = dict()
for item in cookie_list:
cookie_dict[item['name']] = item['value']
return cookie_dict
return {}
class InitWebDriver(object):
_web_driver = None
isFirst = True
@staticmethod
def _init_web_driver(fetch):
if InitWebDriver._web_driver is None:
options = Options()
# set proxy
if fetch.get('proxy'):
if '://' not in fetch['proxy']:
fetch['proxy'] = 'http://' + fetch['proxy']
proxy = urlparse.urlparse(fetch['proxy']).netloc
options.add_argument('--proxy-server=%s' % proxy)
# reset headers, for now, do nothing
set_header = fetch.get('headers') is not None
if set_header:
fetch['headers']['Accept-Encoding'] = None
fetch['headers']['Connection'] = None
fetch['headers']['Content-Length'] = None
if set_header and fetch['headers']['User-Agent']:
options.add_argument('user-agent=%s' % fetch['headers']['User-Agent'])
# disable load images
if fetch.get('load_images'):
options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})
# set viewport
fetch_width = fetch.get('js_viewport_width')
fetch_height = fetch.get('js_viewport_height')
width = 1024 if fetch_width is None else fetch_width
height = 768 * 3 if fetch_height is None else fetch_height
options.add_argument('--window-size={width},{height}'.format(width=width, height=height))
# headless mode
options.add_argument('--headless')
InitWebDriver._web_driver = webdriver.Chrome(chrome_options=options, port=10001)
@staticmethod
def get_web_driver(fetch):
if InitWebDriver._web_driver is None:
InitWebDriver._init_web_driver(fetch)
return InitWebDriver._web_driver
@staticmethod
def init_extra(fetch):
# maybe throw TimeOutException
driver = InitWebDriver._web_driver
if fetch.get('timeout'):
driver.set_page_load_timeout(fetch.get('timeout'))
driver.set_script_timeout(fetch.get('timeout'))
else:
driver.set_page_load_timeout(20)
driver.set_script_timeout(20)
# # reset cookie
# cookie_str = fetch['headers']['Cookie']
# if fetch.get('headers') and cookie_str:
# # driver.delete_all_cookies()
# cookie_dict = dict()
# for item in cookie_str.split('; '):
# key = item.split('=')[0]
# value = item.split('=')[1]
# cookie_dict[key] = value
# # driver.add_cookie(cookie_dict)
@staticmethod
def quit_web_driver():
if InitWebDriver._web_driver is not None:
InitWebDriver._web_driver.quit()
if __name__ == '__main__':
app.run('0.0.0.0', 9000)
InitWebDriver.quit_web_driver()
此实现参考pyspider源码：tornado_fetcher.py和phantomjs_fetcher.js。但是，实现的功能不全，只实现了我需要的功能。诸如：设置cookie, 执行js等并没有实现，您可以参考上面的实现，实现自己的需求。
让pyspider fetcher访问Headless Chrome Web Server
- 先启动chrome web server，直接运行：
python selenium_fetcher.py即可，端口为9000 - 在启动pyspider时，指定
--phantomjs-proxy=http://localhost:9000参数，如：pyspider --phantomjs-proxy=http://localhost:9000。