贪心学院 Demo4 - 爬虫抓取今日头条数据

导读：
demo内容来源网课贪心科技AI学社的网课《人工智能Python编程特训营》
本篇博客的主要内容是今日头条数据的爬取。

作业

爬取今日头条新闻相关信息并存储，为后续数据分析的课程做准备

因为写这篇博客的时候被封了，时间隔的有点久了，我就不再具体分析源码了，只是把代码贴上来。
主要完成的是爬取头条的一些新闻，并根据每一个新闻获得它的标签，并一起存储到excel表中。但是有一个很大的问题没有解决，就是根据时间爬取的数据重复性很大，我是后期在excel表去重，这个需要后期再想办法解决，目前能爬到的数据量实在有限。

工具文件utils.py

import requests
import json
import random


# 将浏览器的信息保存下来，方便调用
def write_browser_info_to_file():
    my_user_agent = requests.get("https://fake-useragent.herokuapp.com/browsers/0.1.8")
    with open("browser_info.json", "w") as f:
        json.dump(my_user_agent.text, f)
        # json.write(my_user_agent.text)
        # json 的方法中dump dumps load loads的区别
        # dump 和 load 是一对，他们是操作文件的
        # dumps 和 loads 是一对，他们是json格式和字符串之间相互转换的


# write_browser_info_to_file()  # 调用保存浏览器信息函数

# 随机获取headers
def get_random_browser():
    with open("browser_info.json", "r") as f:
        browser_json = json.load(f)  # str
        browser_json = json.loads(browser_json)  # dict 也就是将str转化为json
        # 随机出来一个浏览器类型
        browsers = browser_json["browsers"]
        # 随机出来一个浏览器类型
        i = random.randint(0, len(browsers) - 1)
        browsers_name = ""
        if i == 0:
            browsers_name = "chrome"
        elif i == 1:
            browsers_name = "opera"
        elif i == 2:
            browsers_name = "firefox"
        elif i == 3:
            browsers_name = "internetexplorer"
        else:
            browsers_name = "safari"

        final_browser = browsers[browsers_name][random.randint(0, len(browsers[browsers_name]) - 1)]
        return final_browser


if __name__ == '__main__':
    test = get_random_browser()
    print(test)

主要代码toutiao_spider.py

import requests
import time
import json
from utils import get_random_browser
import re
import pandas as pd
import multiprocessing


# 获得头headers和代理proxies
# 返回 headers proxies
def get_headers_and_proxies():
    user_agent = get_random_browser()  # 调用get_random_browser方法，随机获得一个header
    headers = {
        "user-agent": user_agent
    }
    proxies = {
        "url": "http://222.128.9.235:33428"
    }
    return headers, proxies


# 获得所需要的base_url和headers和proxies
# 返回url headers proxies
def get_base_url_and_headers(current_time):
    headers, proxies = get_headers_and_proxies()
    current_time = str(current_time)  # 当前时间转化为str类型，方便拼接
    base_url = "https://www.toutiao.com/api/pc/feed/?category=news_hot&utm_source=toutiao&" \
               "widen=1&max_behot_time=" + current_time + "&max_behot_time_tmp=" + current_time + \
               "&tadrequire=true&as=A1F57DE6722591A&cp=5D62658921FAEE1&_signature=jNt.5QAA0cVJvido6kTGRozbf."
    return base_url, headers, proxies


# 获得base_url所返回的页面
def get_base_response_html(time):
    base_url, headers, proxies = get_base_url_and_headers(time)
    # print(base_url, headers, proxies)  # 输出url、headers、proxies
    try:
        base_response = requests.get(base_url, headers=headers, proxies=proxies, timeout=1)
    except requests.exceptions.RequestException as e:
        print(e)

    global base_response_json  # 全局json，用于返回
    # print(base_response.text)
    # base_response_json = json.loads(base_response.text.encode("utf-8").decode("unicode_escape"))  # 转化为json格式
    # 报错原因，decode("unicode_escape")解析不严谨，我们换一种方法解析
    # "abstract": "\u67f3\u5dde\u4e00\u7537\u5b50\u6ca1\u5411\u94f6\u884c\u501f\u94b1 \u83ab\u540d\"\u6b20\"5.9\u4e07\u4f59\u5143\u88ab\u8bc9"
    # "abstract": "柳州一男子没向银行借钱 莫名"
    #       欠 "5.9万余元被诉",
    base_response_json = json.loads(base_response.text.encode("utf-8").decode(encoding="utf-8"))  # 转化为json格式

    # print(base_response_json)
    if base_response_json["message"] == "error":
        get_base_response_html(time)  # 如果获取页面错误，递归调用
    return base_response_json


# 获取详情页的url，并解析获得标签
def get_detail_url_and_get_tags(detail_source_url):
    toutiao_head = "https://www.toutiao.com"  # 头条头部信息，用于拼接
    detail_url = toutiao_head + detail_source_url["source_url"]  # 拼接获得真正的详情页
    # print(detail_url)
    headers, proxies = get_headers_and_proxies()
    data_html_result = requests.get(detail_url, headers=headers)
    # print(data_html_result)
    # print(data_html_result.text)
    reg_tags = "tagInfo: {\s.*tags: \[(.*)\]"
    tags = re.findall(reg_tags, data_html_result.text)  # 找到所有标签
    reg2 = "\"name\":\"(.*?)\""  # 分开每个标签，并存入list
    tag_list = re.findall(reg2, str(tags))
    # print(detail_url)
    # print(tag_list)
    return tag_list


# 将数据保存为json格式
def data_to_file():
    data = base_response_json["data"]
    for i in range(len(data)):
        data_dict = data[i]
        detail_source_url = data[i]
        tag_list = get_detail_url_and_get_tags(detail_source_url)
        # print(tag_list)
        data_dict["tag_list"] = tag_list  # 将tag_list添加进字典
        with open("toutiao.json", "a+") as f:
            json.dump(data_dict, f, ensure_ascii=False)
            f.write("\n")
    print("success")


def fun(current_time, tn):
    print(tn)
    json_content = get_base_response_html(current_time)
    print(json_content)
    data_to_file()
    # 将数据转化为xlsx进行保存
    df = pd.read_json("toutiao.json", lines=True)
    # print(df)
    df.to_excel("toutiao.xlsx")


ProcessNumber = 3  # 线程数
TimeNumber = 100  # 时间数量
TimeGap = 10  # 时间间隔

if __name__ == '__main__':
    time = int(time.time())  # 获取当前时间,int类型
    pool = multiprocessing.Pool(processes=ProcessNumber)  # 多线程运行
    for tn in range(TimeNumber):
        if tn % TimeGap == 0:  # 每隔10S爬一次
            pool.apply_async(fun, (time - tn, tn,))

    print("start...")
    pool.close()  # 调用join之前，先调用close函数，否则会出错。
    pool.join()  # 执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
    print("done...")