python爬取豆瓣调音师影评并进行可视化展示（一）

1.scrapy框架安装与使用

  scrapy是一个专门用于爬虫的框架，框架与库的区别是，库我们直接可以导入使用，而框架已经帮我们搭建好了相应的步骤，我们只需在其中添加逻辑即可。
  安装scrapy直接在终端使用pip install 即可

bash-3.2$ pip install scrapy

  安装scrapy期间如果有报错请大家根据错误内容自行百度，网上有大量的文章介绍scrapy安装相关问题。安装好scrapy框架后我们就可以新建项目了，本文是对豆瓣《调音师》的影评进行爬取，因此新建了douban_tiaoyinshi的项目。需要注意的是目前没有一个IDE支持自动创建scrapy项目，因此我们需要在终端中手动添加，语句为scrapy startproject+项目名。

bash-3.2$ scrapy startproject douban_tiaoyinshi

  执行完这段语句后，可以发现pycharm中多了一个名叫douban_tiaoyinshi的文件夹，里边包括很多已经预定义好的函数，我们可以在此基础上编写自己的逻辑。

建好的douban_tiaoyinshi框架

  接下来需要根据自己要爬取的网址，创建一个自己的spider，语句为scrapy genspider + 爬虫名 + 爬虫网址

bash-3.2$ scrapy genspider tiaoyinshi https://movie.douban.com/subject/30334073/

  写完后我们发现spiders下增加一个名为tiaoyinshi的py文件

调音师爬虫文件样例

  准备就绪后我们可以开始正式编写爬虫代码了。

2.利用scrapy编写爬虫

（1）设置items

  设置items的目的在于将你要爬取的数据设置成为scrapy识别的field格式，items的设置在创建项目时建立的items.py文件中进行即可。

（2）编写spider

  编写spiedr是scrapy爬虫的核心，此部分需要结合待爬取网页的特征进行编写，元素的提取最常用的方式是xpath，推荐使用火狐浏览器的fire_bug和fire_path工具。
  本文在tiaoyinshi.py中编写，首先定义爬虫名为“tiaoyinshi”，方便以后查看；设置允许爬虫访问的域名allowed_domian；设置start_urls，就是要爬取的网页，如果是静态网页，那么可以或许页面的最大页数，也可以通过分析网页获得网页的结构，从而构造出包含所有要爬取子页面的列表。在编写spider时我们可以使用scrapy的shell进行测试，从而得到想要的爬取内容，具体语句为：

bash-3.2$  scrapy shell https://movie.douban.com/subject/30334073/

  scrapy shell是一个强大的测试器，里边有很多函数，可以帮助我们更好地进行爬虫操作，具体的使用方法我们可以参考以下这篇文章博客园。
  此处需要注意的是我们执行完scrapy shell语句后，查看view(response)，网页可能返回403错误，这是因为网站的反爬机制起作用了，禁止了spider的访问，最简单的处理方法是在命令后加一个-s USER_AGENT='Mozilla/5.0'，当然也可以修改scrapy的配置文件，此处不再赘述，如有需要大家参考这篇文章cnblog。

• 编写获取初始爬取页面程序
    观察页面要爬取url的结构特点，构造出合适的start_urls集合，保证爬取到所有的页面结构。本文用了xpath技术定位到想要爬取的位置，读取其中的最大评论数，又用了正则表达式匹配其中的数字。

    def get_max_commits(self, response):
        select_max_commits = Selector(response)
        max_commits = select_max_commits.xpath('//*[@id="content"]/h1/text()').extract()
        redigit = re.compile('[\d]{0,10}')
        max_commits = redigit.findall(max_commits)
        max_commits = int(max_commits[0])
        pages = int(max_commits / 20) + 1
        start_urls = []
        for i in range(pages):
            start_urls.append(self.start_url_base + '%d' % i)
        return start_urls

• 编写爬取信息的主程序parse
    同样根据网页存储数据的特点，用xpath获取相应数据，同时对特殊字符和空字符进行处理，获得我们想要的数据。

    def parse(self, response):#默认的解析文件
        item = DoubanTiaoyinshiItem()
        selector = Selector(response)
        info_container = selector.xpath('//*[@class="review-list  "]')
        for info in info_container:
            user_id = info.xpath('./div/div/header/a[2]/text()').extract()#必须逐级设计
            commit_time = info.xpath('./div/div/header/span[2]/text()').extract()
            topic = info.xpath('./div/div/header/a[3]/text()').extract()
            if topic:
                topic = topic[0]
            else:
                topic = ''
            commit_title = info.xpath('./div/div/div/h2/a/text()').extract()
            love_cnt = info.xpath('./div/div/div/div[3]/a/span/text()').extract().strip()
            dont_love_cnt = info.xpath('./div/div/div/div[3]/a[2]/span/text()').extract().strip()
            reply_cnt = info.xpath('./div/div/div/div[3]/a[3]/text()')
            item['usei_id'] = user_id
            item['commit_time'] = commit_time
            item['topic'] = topic
            item['commit_title'] = commit_title
            item['love_cnt'] = love_cnt
            item['dont_love_cnt'] = dont_love_cnt
            item['reply_cnt'] = reply_cnt
            yield item

        new_start_urls = self.get_max_commits(self, response)
        for i in range(1, len(new_start_urls) + 1):
            start_urls = new_start_urls[i]
            yield Request(start_urls, callback=self.parse)

• 对pipeline进行设置
    设置爬取文件的保存位置。
• 更新settings
    设置爬虫的优先级