Scrapy利用Splash抓取动态页面

之前的例子，我爬取的都是些静态页面中的信息，爬取容易。但是目前大多数网站都是动态的，动态页面中的部分内容是浏览器运行页面中的JavaScript脚本动态生成的，爬取相对困难。

动态网页一般两种思路 ，一是找到api接口伪装请求直接请求数据，另一种是没有办法模拟的时候需要渲染环境。

这里我使用了第二种方法

---

Splash是Scrapy官方推荐的JavaScript渲染引擎，它是使用Webkit开发的轻量级无界面浏览器，提供基于HTTP接口的JavaScript渲染服务，支持以下功能：

• 为用户返回经过渲染的HTML页面或页面截图
• 并发渲染多个页面
• 关闭图片加载，加速渲染
• 在页面中执行用户自定义的JavaScript代码
• 执行用户自定义的渲染脚本（lua），功能类似于PhantomJS

如何使用Splash:

1. splash使用的是Splash HTTP API，所以需要一个Splash Instance,一般采用docker运行splash，所以需要安装docker

   sudo apt-get install docker
   

2. 拉取镜像

   sudo docker pull scrapinghub/splash
   

3. 在本机的8050和8051端口开启Splash服务

   docker run -p 8050:8050 -p 8051:8051 scrapinghub/splash
   

4. 安装scrapy-splash

   pip install scrapy-splash
   

5. 配置splash服务（settings.py）

   # Splash服务器地址
   SPLASH_URL = 'http://localhost:8050'
   
   DOWNLOADER_MIDDLEWARES = {
       'scrapy_splash.SplashCookiesMiddleware': 723,
       'scrapy_splash.SplashMiddleware': 725,
       'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
   }
   # 设置去重过滤器
   DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
   
   # 用来支持cache_args
   SPIDER_MIDDLEWARES = {
       'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
   }
   
   HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
   

例子：

for index, id in enumerate(ids):
            req = SplashRequest(self.detail_url + str(id))
            req.callback = self.parse_detail
            req.endpoint = 'render.html'
            req.meta['tel'] = tel
            req.meta['name'] = name
            req.meta['id'] = id
            req.args = {'wait': 0.5}
            yield req