爬虫实战-爬取澎湃新闻网的评论

前言

​ 因为学校上的大数据课程需要获取数据，所以布置了一个爬虫实验，之前也没怎么接触过爬虫，就在网上找了找视频，这里，推荐慕课网的爬虫视频：Python开发简单爬虫，短小精悍，实用。

开始

​ 要爬取的澎湃新闻网页url为：https://www.thepaper.cn/newsDetail_forward_3564808，按照基本的爬虫来写，就是需要：

image

• 爬虫调度端：启动，停止，监视。
• URL管理器：对将要爬取和已经爬取的URL进行管理，将URL传送给网页下载器。
• 网页下载器会将指定的URL下载下来，存储成字符串，传送给网页解析器。
• 网页解析器解析出有价值的数据。

这里写的比较简单，就只挑选了一条评论数为1k以上的新闻来进行爬取，使用的主要的库为urllib.request（网页下载器）和beautifulsoup（网页解析器）。因为澎湃网新闻评论是下拉浏览器侧边栏自动刷新的，所以使用到了自动化工具，最后要将数据写入到txt文件中，用到了python写入文件的一些知识，所以这次爬虫的主要流程就是：

• 使用自动化工具打开网页
• 不断循环刷新至刷出的评论数大于等于1K
• 下载网页，进行网页解析
• 将解析的数据写入到txt文件

（一开始爬取之后发现一条评论都爬取不到...自闭...打开网页仔细查看之后，发现评论信息是下拉刷新的，就想有没有什么工具可以模拟网页自动下拉刷新，在网上找了找资料，发现selenium是一个自动化工具，配合ChromeDriver就可以控制谷歌浏览器。）

​ 还有一个坑，之前使用beautifulsoup时，不知道可以递归的去调用这个find()和find_all()函数，就在怎么找到子标签这个问题上纠结了半天。这样看来，beautifulsoup还是相当好用的。

​ 再来说说解析数据的问题，解析网页的数据，需要知道网页的内容，只需要在想查看的网页内容右键，审查元素，即可看见网页内容（比如这里查看昵称的网页结构）：

image

image

​ 最后还有一个坑，在写入文件时，最好指定字符集为utf-8，否则会出现乱码的情况。

​ 完整代码如下：

#-*-coding:utf-8-*-
# 解析html的
from bs4 import BeautifulSoup
# 模仿浏览器的
from selenium import webdriver
# 模仿键盘,操作下拉框的
from selenium.webdriver.common.keys import Keys
# 网页解析器BeautifulSoup
from bs4 import BeautifulSoup
import urllib.request
# 正则表达式
import re

# 找到的一则评论大于1k的有关校园暴力的url
# https://www.thepaper.cn/newsDetail_forward_3564808

url = "https://www.thepaper.cn/newsDetail_forward_3564808"

# 打开文件（指定编码，否则会出现乱码的情况）
with open('./my_data','wt',encoding='utf-8') as f:
    # 爬取评论节点(评论如果不下拉刷新的话爬取不到，页面是下拉刷新的，需要使用自动化工具)
    # 打开浏览器
    driver = webdriver.Chrome(executable_path="D:\\chromedriver.exe")
    # 打开你的访问地址
    driver.get(url)
    # 将页面最大化
    driver.maximize_window()

    # 循环下拉 
    # js="var q=document.documentElement.scrollTop=10000"为js脚本，页面下拉
    js="var q=document.documentElement.scrollTop=250000"
    for i in range(10000):
        driver.execute_script(js)
        driver.implicitly_wait(3)

    # 创建beautifulsoup对象
    html = BeautifulSoup(driver.page_source)

    # 新闻标题：
太原师范学院回应“女生自述遭室友的校园暴力”：正认真核查
    title = html.find('h1',class_="news_title").get_text()  
    print("标题: {}".format(title), file=f)
    # 新闻链接就是url
    print("链接: {}".format(url), file=f)
    # 获取评论数
    comment_num_block = html.find('h2',id="comm_span")
    comment = re.search(r'\d+[k]*', comment_num_block.get_text()).group()

    print("评论数: {}".format(comment), file=f)
    # 获取新闻发表时间
    publish_time_block = html.find('div',class_="news_about")
    # 匹配日期正则表达式
    time = re.search(r'\d{4}-\d{1,2}-\d{1,2}', publish_time_block.get_text()).group()
    print("时间: {}".format(time), file=f)
    print("", file=f)
    # 爬取评论节点
    # 评论的节点为

    comment_nodes = html.find_all('div', class_="comment_que")
    count = 1
    # print("开始打印评论:")
    for node in comment_nodes:
        # 获取昵称
        nickname = node.find('div', class_="aqwright").find('h3').find('a').get_text().strip()
        print("Nickname:{}".format(nickname), file=f)
        # 获取评论主体内容
        content = node.find('div', class_="aqwright").find('div', class_="ansright_cont").get_text().strip()
        print("Content:{}".format(content), file=f)
        count = count + 1
        
        if (count < 1000):
            # 在每一条评论间打印空行
            print("",file=f)
            print(count)
        else:
            break