python爬取上市公司年报信息_python3爬取巨潮资讯网的年报数据

需要用到的库：

import requests

import random #随机生成爬虫休眠时间

import time

前期准备：

巨潮资讯网有反爬虫机制，所以先打开巨潮资讯网的年报板块，看看有什么解决办法。

巨潮咨询年报板块

网页向服务器发送的数据请求

可以通过这样的方式获取单页年报的数据，数据格式为json。其中包括年报名称，地址等数据。

所以思路就是，先通过单页的数据，然后在对每页中的年报数据进行下载。

完整代码：

import requests

import random

import time

download_path= 'http://static.cninfo.com.cn/'

saving_path= 'E://2018年报sz'

User_Agent= [

"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",

"Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.