用python分析豆瓣短评(一）

这篇文章主要是用来记录自己用python编写爬虫以及数据分析代码，简单比较《你的名字。》和《超时空同居》两部电影的豆瓣评论。两部电影都是包含穿越元素的爱情片，初次在影院观看都带给笔者蛮多惊喜，不过显然前者在画面、音乐、故事等方面还是要胜过国产片，也成了笔者深夜写代码时又一部背景片。做这个小项目，也是想练习一下python与数据分析相关的几个库，增加一些实战经验。不足之处，日后继续改进。

完整代码：
电影短评爬虫完整代码

一、主要用到的python库

import requests
from lxml import etree
import re
from pymongo import MongoClient
import time

二、网页爬虫流程

1. 进入起始页，解析页面元素
2. 保存每页评论（共20条）内容至mongoDB
3. 判断是否存在“下一页”的链接，若有，则翻页进入下一页，继续解析
4. 若没有下一页，爬虫停止。

目前豆瓣对用户可浏览的评论数进行了限制，只允许浏览500条。因此，爬取的数据最多只有500条记录

三、简要分析豆瓣电影短评页面

电影短评示例

豆瓣电影短评目前分为热门、最新、好友三类。“热门”类是列出被标记“有用”次数最多的评论。选择这个分类也能更好代表用户对一部电影的评价。
每一条评论包含了用户名称、打星情况、评论日期、评论内容以及被标记有用次数几个信息，相应爬虫代码为：

    def get_comments(self, cur_url):
        '''
        从当前html页面解析出20条评论的信息,并存入mongo数据库。获取每条评论的id,日期，评论内容，有用数量
        :param cur_url:待爬取页面url
        :return:当前页面的20条评论数据信息
        '''
        print('解析页面:%s' % cur_url)
        html = self.get_html(cur_url)
        commList = html.xpath('//div[@class="comment-item"]')
        data = []
        for item in commList:
            user_id = item.attrib['data-cid']
            vote = item.xpath('.//span[@class="votes"]')[0].text.strip()
            user_name = item.xpath('.//span[@class="comment-info"]/a')[0].text.strip()
            status = item.xpath('.//span[@class="comment-info"]//span[1]/text()')[0].strip()
            if len(item.xpath('.//span[@class="comment-info"]//span')) == 3:
                rating = item.xpath('.//span[@class="comment-info"]//span[2]/@title')[0].strip()
                pub_time = item.xpath('.//span[@class="comment-info"]//span[3]/text()')[0].strip()
            else:
                rating = ''
                pub_time = item.xpath('.//span[@class="comment-info"]//span[2]/text()')[0].strip()
            comment_lines = item.xpath('.//p/text()')[0].strip()
            comment_info = {
                'user_id': user_id,
                'vote': vote,
                'user_name': user_name,
                'status': status,
                'rating': rating,
                'pub_time': pub_time,
                'comment_lines': comment_lines
            }
            data.append(comment_info)
        return data

这里用到xpath语法定位爬取的元素.笔者觉得相比于BeautifulSoup库需要分析上下节点之间的关系，用lxml库解析网页然后使用xpath技术会更加方便。

四、利用pymongo库将数据存入mongoDB中

    def saveData(self, data):
        '''

        :param data:
        :param db:
        :return:
        '''
        client = MongoClient()
        mongo_DB = self.db
        db = client[mongo_DB]
        col = db[self.collection]
        try:
            if col.insert_many(data):
                print('保存成功！')
        except Exception:
            print('保存失败。')
            return None

接下来用pandas库和matplotlib库进行数据分析及展示