Python编程-使用爬虫程序爬取肺炎疫情数据-1 爬取给定国家的历史疫情信息

首先，我们进入目标页面：腾讯网

如下图所示，按F12进入开发者选项，接着点击 【网络】（如下箭头所示），然后刷新页面。

刷新页面之后，我们就可以看到下面多了很多内容，这是浏览器接收到服务器返回的信息。

点击选中的任意一行，我们可以看到：

（上面截图使用浏览器：火狐浏览器）

（上面截图使用浏览器：谷歌浏览器）

通过上图，我们可以看到服务器返回的部分国家的历史疫情信息，客户端请求方法为POST。

现在，我们开始准备爬取数据，如下图所示，复制url：

意大利：
https://api.inews.qq.com/newsqa/v1/query/pubished/daily/list?country=%E6%84%8F%E5%A4%A7%E5%88%A9&

伊朗：
https://api.inews.qq.com/newsqa/v1/query/pubished/daily/list?country=%E4%BC%8A%E6%9C%97&

西班牙：
https://api.inews.qq.com/newsqa/v1/query/pubished/daily/list?country=%E8%A5%BF%E7%8F%AD%E7%89%99&

其中，URL链接后面的country=之后是国家名（编码方式问题，不宜阅读）

由此，我们可以得到想要的URL接口：

https://api.inews.qq.com/newsqa/v1/query/pubished/daily/list?country=国家名

下面是全部代码，爬取结果保存至excel文件中：

'''
爬取给定国家的疫情历史信息
'''
import requests
import xlwt
import datetime
import json
import sys

def getURLContent(url):
    headers = {
        'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Mobile Safari/537.36'
    }
    response = requests.post(url, headers=headers)
    return response.status_code, response

def getCountryEpidemiSituationInfo(workbook, country_list):
    for index, country_i in enumerate(country_list):
        # 创建一个worksheet
        worksheet = workbook.add_sheet(country_i)

        print("开始爬取 %s 的疫情数据... ... " % country_i)
        url = 'https://api.inews.qq.com/newsqa/v1/query/pubished/daily/list?country=%s' % country_i
        status_code, data = getURLContent(url)
        if status_code != 200:
            print("%s数据爬取失败,状态码%d" % (country_i, status_code))
            sys.exit()
        data = data.json()["data"]
        if data == None:
            print("%s数据爬取数据为空" % country_i)
            break

        worksheet.col(0).width = 128 * 20  # 设置excel中第A列的宽度（方便日期数据展示）

        current_row_index = 0  # 记录当前所写入数据的行号

        # 将列标题写入excel
        for i, str_col in enumerate(['date', 'confirm_add', 'confirm', 'heal', 'dead', 'suspect']):
            worksheet.write(current_row_index, i, str_col)  # 参数对应 行, 列, 值
        current_row_index += 1

        # 往excel中写入日期格式
        style = xlwt.XFStyle()
        style.num_format_str = 'YYYY/MM/DD'

        # 将抓取到的疫情数据写入excel
        for data_i in data:
            worksheet.write(current_row_index, 0, datetime.datetime.strptime('2020.' + data_i['date'], "%Y.%m.%d"), style)
            worksheet.write(current_row_index, 1, data_i['confirm_add'])
            worksheet.write(current_row_index, 2, data_i['confirm'])
            worksheet.write(current_row_index, 3, data_i['heal'])
            worksheet.write(current_row_index, 4, data_i['dead'])
            worksheet.write(current_row_index, 5, data_i['suspect'])
            current_row_index += 1

if __name__ == "__main__":
    # 创建一个workbook 设置编码
    workbook = xlwt.Workbook(encoding='utf-8')
    # 添加要爬取疫情数据的国家
    country = ["美国", "加拿大", "意大利", "英国", "法国", "丹麦", "韩国", "日本本土", "德国"]
    getCountryEpidemiSituationInfo(workbook, country)
    # 保存
    workbook.save('./data/疫情历史数据.xls') #这里不要使用.xlsx格式保存，否则无法打开！！！原因与库xlwt有关，如需要保存为.xlsx格式，需要使用其他第三方库操作

结果：