利用Python进行股票交易分析（二）：爬取A股所有历史行情数据

 

背景

1.若要验证量化交易策略是否有效，需要有足够的历史行情数据作为支撑，故本文将使用Python编写爬虫对上证、深证全部股票的历史行情数据进行爬取。

2.上一篇：利用Python进行股票交易分析（一）：量化交易策略——买点与卖点的量化

 

目标

1.下载上证、深证所有股票历史行情数据到本地数据库

2.每日更新股票行情数据到本地数据库

3.数据库使用mysql

数据来源：

股票代码—https://www.banban.cn/gupiao/list_sh.html  

股票行情数据—http://quotes.money.163.com/trade/lsjysj_600018.html

 

过程

1.获取所有股票代码

2.创建数据库STOCK，用于存储股票数据

3.以“s_股票代码”在数据库STOCK中创建/添加数据表，用于存储每只股票的历史行情数据

4. 遍历各表，读取各表最后一条记录中的开盘日期；输入实际最新开盘日期；两日期比对，若日期为空则表为空 故下载该股全部历史数据，若日期不同，则表中数据非当前最新行情数据，故更新数据至实际最新开盘日期；若日期相同，则表明表中数据已是最新数据，故跳过。

5.将每只股票的历史行情数据对应存储到各表

 

 

函数及解释

导入模块及设置headers

import requests,pymysql,re,datetime
import pandas as pd
from bs4 import BeautifulSoup
from sqlalchemy import create_engine


headers={
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Safari/537.36'
}

DownStockCode()函数，获取所有股票代码，返回结果示例：['600002','600003'....] 

#获取所有上证、深证的股票代码,return:['600001','600002','600003'...]
def DownStockCode():
    print('开始获取上证、深证股票代码')
    count = 0
    stockcodeList=[]
    urlList = ['https://www.banban.cn/gupiao/list_sh.html','https://www.banban.cn/gupiao/list_sz.html']
    for url in urlList:
        res = requests.get(url=url,headers=headers)
        bs_res = BeautifulSoup(res.text,'html.parser')
        stocklist=bs_res.find('div',id='ctrlfscont').find_all('li')
        for stock in stocklist:
                    stockhref=stock.find('a')['href']
                    list_stockhref=stockhref.strip().split('/')
                    stock_code=list_stockhref[2]
                    stockcodeList.append(stock_code)
                    count += 1
                    print('当前已获取{}只股票代码'.format(count),end='\r')
    print('已获取所有上证、深证股票代码：{}个'.format(count))
    return stockcodeList 

CreateDatabase(host,user,password,dbname)函数，创建本地数据库STOCK

#创建数据库用于存储股票数据表
def CreateDatabase(host,user,password,dbname):
    db = pymysql.connect(
        host = host,
        user = user,
        password = password,
        port = 3306
    )
    cursor = db.cursor()
    sql = 'create database if not exists '+ dbname
    cursor.execute(sql)
    db.close()
    print('检查/创建本地存储数据库-STOCK')

CreateTable(host,user,password,dbname,codeList) 函数，根据股票代码 为每只股票创建、添加数据表

#根据股票代码，创建添加股票数据表，用于存储每只股票数据，table:s_600001
def CreateTable(host,user,password,dbname,codeList):
    print('开始检查/添加股票数据表')
    db = pymysql.connect(
        host = host,
        user = user,
        password = password,
        database = dbname
    )
    cursor = db.cursor()
    count = len(codeList)
    num =  0
    for code in codeList:
        num += 1
        sql = 'create table if not exists s_'+code+'(\
            stockName varchar(250) not null,\
            dateTime varchar(250) not null, \
            startPrice varchar(100), \
            maxPrice varchar(100), \
            minPrice varchar(100), \
            endPrice varchar(100), \
            diffPrice varchar(100), \
            diffPercent varchar(100), \
            turnoverAmount varchar(100), \
            amount varchar(100), \
            amplitude varchar(100), \
            turnoverPercent varchar(100))'
        cursor.execute(sql)
        print('检查/添加数据库表：s_{}，{}/{}'.format(code,num,count),end='\r')
    db.close()    
    print('数据库表已检查/添加完毕！！！            ')

GetNearestDate(host,user,password,dbname) 函数，获取每个股票数据表中的最后一条记录 并提取开盘日期，返回结果示例：[['600001','2020-12-3'],['600002','NULL']...]

#获取所有表名，遍历每个表并获取最新行情数据日期返回列表：[[股票代码，最新数据日期],['600001','2020-12-3'],['600002','NULL']]
def GetNearestDate(host,user,password,dbname):
    print('开始获取数据库表内股票的最后交易日期')
    count_empty = 0 #用于记录空表数量
    tablelist = [] #存储获取到的数据库表名
    nearestdatelist = []#存储股票代码和最新行情日期
    db = pymysql.connect(
        host = host,
        user = user,
        password = password,
        database = dbname
    )
    cursor = db.cursor()
    sql_showtables = 'show tables'
    cursor.execute(sql_showtables) #查询表名
    for i in cursor:
        tablelist.append(str(i)) #表名存储到列表
    for tablename in tablelist:
        code = re.sub('\D','',tablename)#取出表名中的数字，即股票代码code
        sql_s_dateTime = 'select * from s_'+code+' order by dateTime desc limit 1' #取出数据表最后一行记录
        lastrow = pd.read_sql(sql_s_dateTime,db) 
        if lastrow.empty:
            dateTime = 'Null'
            count_empty += 1
        else:
            dateTime = lastrow['dateTime'][0]
        nearestdatelist.append([code,dateTime])
        print('已获取:{} 的最后交易日期为:{}  当前获取进度：{}/{}     '.format(code,dateTime,len(nearestdatelist),len(tablelist)), end='\r') 
    db.close()    
    print('个股最后交易日期获取完毕,共计{}只股票，其中需下载全部数据的股票共{}只'.format(len(nearestdatelist),count_empty))
    return nearestdatelist    

UpdateAndDown(host,user,password,dbname,new_date) 函数，根据数据表中的日期与实际最新开盘日期比对，若数据表中日期为'Null'，则通过下文DownAllData()函数下载该股全部历史数据，若数据表中日期与输入的实际开盘日期不同，则通过下文UpdateData()函数更新该股历史数据至最新，若两日期相同，则跳过。

#读取数据库表，根据读取结果更新下载股票数据— 交易日为NULL，下载全部数据；交易日为最新，跳过；交易日非最新交易日，更新数据
def UpdateAndDown(host,user,password,dbname,new_date):
    count_downall = 0 #记录需下载全部历史数据的个股数量
    count_update = 0 #记录需更新数据的个股数量
    count_all = 0 #记录已遍历数据库的个股数量
    stocklist = GetNearestDate(host,user,password,dbname)
    stocknum = len(stocklist)
    for stock in stocklist:
        count_all += 1
        print('股票数据爬取进度{}/{}  正在更新数据库表：s_{}'.format(count_all,stocknum,stock[0]),end='\r')
        if stock[1] == 'Null': #如果个股最近数据日期为空，则下载全部股票数据到数据库
            stockdata = DownAllData(stock[0])
            count_downall +=1
        elif stock[1] == new_date: #若个股最近数据日期是最新交易额日期，则跳过
            continue
        else:
            stockdata = UpdateData(stock[0],stock[1])#若个股最近数据日期不为空，则更新数据库数据
            count_update +=1
        df = pd.DataFrame(stockdata,columns=['stockName','dateTime','startPrice','maxPrice','minPrice','endPrice','diffPrice','diffPercent','turnoverAmount','amount','amplitude','turnoverPercent'])
        engine = create_engine('mysql+pymysql://'+user+':'+password+'@'+host+':'+'3306/'+dbname)
        tablename = 's_'+stock[0]
        df.to_sql(
            name = tablename, 
            con = engine, 
            index = False,
            if_exists = 'append')
    print('股票数据全部下载完毕！下载全部数据股票数：{}只,更新数据股票数：{}只'.format(count_downall,count_update))

GetSeason(month)函数，根据月份判断季度，用于辅助下文DownAllData()、UpdateData()函数内构造爬虫链接

#自定义函数：传入月份，获取季度
def GetSeason(month):
    month = int(month)
    if month >= 1 and month <= 3:
        season = 1
    elif month >= 4 and month <= 6:
        season = 2
    elif month >= 7 and month <= 9:
        season = 3
    else:
        season = 4
    return season           

DownAllData(code)函数，传入股票代码，下载该股全部历史数据，返回结果：[stockName,dateTime,startPrice,maxPrice,minPrice,endPrice,diffPrice,diffPercent,turnoverAmount,amount,amplitude,turnoverPercent]

含义：

stockName  股票名称；dateTime  开盘日期；startPrice  开盘价格；maxPrice  最高价格；

minPrice  最低价格；endPrice  收盘价格；diffPrice  价格涨跌额；diffPercent  价格涨跌幅度；

turnoverAmount  成交量；amount  成交额；amplitude  振幅；turnoverPercent  换手率

#若是空表，下载该股全部历史行情数据,返回：stockName-股票名字,stockdate-股票历史数据列表
def DownAllData(code):
    yearlist = [] #用于存储个股有数据的年份
    pagelist = [] #用于存储构造好的待爬取页面链接
    stockdate = [] #用于存储爬取到的股票数据
    url = 'http://quotes.money.163.com/trade/lsjysj_'+code+'.html?'
    res = requests.get(url = url,headers = headers)
    bs_res = BeautifulSoup(res.text,'html.parser')
    stockName = bs_res.find('div',class_='stock_info').find('h1',class_='name').find('a').text
    item = bs_res.find('form',id = 'date').find_all('option') #获取股票有数据的年份和季度
    now_dateTime = datetime.datetime.now().date()#获取当前日期
    now_year = now_dateTime.year
    now_month = now_dateTime.month
    now_season = GetSeason(now_month)
    for i in item[:-4]: #仅取出年份存入列表
        yearlist.append(i.text)
    for year in yearlist: #构造待爬取页面链接
        if int(year) == now_year: #若为当前年，按实际所在季度来构造链接数量，考虑当前日期所在季度不一定是第4季度的情况
            for i in range(now_season):
                season = now_season - i
                url_page = 'http://quotes.money.163.com/trade/lsjysj_'+code+'.html?year='+str(year)+'&season='+str(season) 
                pagelist.append(url_page)
        else:    
            for s in range(4): #非当前年将构造全部季度链接
                url_page = 'http://quotes.money.163.com/trade/lsjysj_'+code+'.html?year='+str(year)+'&season='+str(4-s) 
                pagelist.append(url_page)
    for page in pagelist:
        res = requests.get(url = page,headers = headers)
        bs_res = BeautifulSoup(res.text,'html.parser')
        pageinfo = bs_res.find('table',class_='table_bg001').find_all('tr')
        flag = 0
        for row in pageinfo:
            if flag:
                rowData = row.find_all('td') #提取每一行所有td标签内容
                rowData_List = [] #用于存储取出的td标签内容
                for td in rowData:
                    rowData_List.append(td.text)
                dateTime = rowData_List[0]#开盘日期
                startPrice = rowData_List[1]#开盘价
                maxPrice = rowData_List[2]#最高价
                minPrice = rowData_List[3]#最低价
                endPrice = rowData_List[4]#收盘价
                diffPrice = rowData_List[5]#涨跌额
                diffPercent = rowData_List[6]#涨跌幅
                turnoverAmount = rowData_List[7]#成交量
                amount = rowData_List[8]#成交额
                amplitude = rowData_List[9]#振幅
                turnoverPercent = rowData_List[10]#换手率
                stockdate.append([stockName,dateTime,startPrice,maxPrice,minPrice,endPrice,diffPrice,diffPercent,turnoverAmount,amount,amplitude,turnoverPercent])
            else:
                flag = 1
    stockdate.reverse() #将排列顺序倒置，旧在前、新在后                  
    return stockdate                   

UpdateData(code,dateTime)函数，传入股票代码、最后开盘日期，更新该股数据，返回结果（同上）：[stockName,dateTime,startPrice,maxPrice,minPrice,endPrice,diffPrice,diffPercent,turnoverAmount,amount,amplitude,turnoverPercent]

#若表不为空，则根据最后一条记录的开盘日期更新至实际最新日期数据,返回:股票名-stockName，股票待更新数据-stockdate
def UpdateData(code,dateTime):
    stockdata = [] #用于存储爬取到的股票数据
    dateTime = datetime.datetime.strptime(dateTime,'%Y-%m-%d').date()
    nowTime = datetime.datetime.now().date()#获取当前日期、年、月、季
    now_year = nowTime.year
    now_month = nowTime.month
    now_season = GetSeason(now_month)
    y = now_year #用于下文构造链接时控制年份
    s = now_season #用于下文构造链接时控制季度
    flag = 1 #控制循环
    while flag: #构造链接、爬取数据
        url = 'http://quotes.money.163.com/trade/lsjysj_'+code+'.html?year='+str(y)+'&season='+str(s)
        res = requests.get(url = url,headers = headers)
        bs_res = BeautifulSoup(res.text,'html.parser')
        stockName = bs_res.find('div',class_='stock_info').find('h1',class_='name').find('a').text
        pageinfo = bs_res.find('table',class_='table_bg001').find_all('tr')
        f = 0 #控制跳过股票数据第一行表头
        for row in pageinfo:
            if f:
                rowData = row.find_all('td') #提取每一行所有td标签内容
                rowData_List = [] #用于存储取出的td标签内容
                for td in rowData:
                    rowData_List.append(td.text)
                dateTime_ = rowData_List[0]#开盘日期
                startPrice = rowData_List[1]#开盘价
                maxPrice = rowData_List[2]#最高价
                minPrice = rowData_List[3]#最低价
                endPrice = rowData_List[4]#收盘价
                diffPrice = rowData_List[5]#涨跌额
                diffPercent = rowData_List[6]#涨跌幅
                turnoverAmount = rowData_List[7]#成交量
                amount = rowData_List[8]#成交额
                amplitude = rowData_List[9]#振幅
                turnoverPercent = rowData_List[10]#换手率
                if dateTime < datetime.datetime.strptime(dateTime_,'%Y-%m-%d').date(): #仅提取参数日前之后的行数据
                    stockdata.append([stockName,dateTime_,startPrice,maxPrice,minPrice,endPrice,diffPrice,diffPercent,turnoverAmount,amount,amplitude,turnoverPercent])        
                else:
                    flag = 0 #如果行数据日期等于参数日期，则跳出while
                    break
            else:
                f = 1
        s -= 1 #如果当前页数据日期均晚于参数日期，则季度向前推1，继续构造上一季度链接进行爬取
        if s == 0: #如果季度向前推到了0，则恢复为4，年度减1
            s = 4
            y -= 1
    stockdata.reverse() #顺序倒置，旧在前，新在后       
    return stockdata        

 

运行脚本

host = 'localhost'
user = 'root'  #你的用户名
password = 'xxxx'   #你的密码
dbname = 'STOCK'  
newdate = input('输入最新交易日， 格式：2020-12-09：  ')
CreateDatabase(host,user,password,dbname) #创建数据库
codeList = DownStockCode() #获取全部股票代码
CreateTable(host,user,password,dbname,codeList) #创建数据表
UpdateAndDown(host,user,password,dbname,newdate) #爬取股票数据并存储至数据库

 

注意

由于数据量庞大，全部下载完可能要用十几个小时，并且可能会由于网络环境影响运行被中断，重新运行即可从断点继续爬取。

 

补充

受网络环境影响程序中断的情况似乎比较频繁，每次都要手动重新运行，简单改一下用try...except 来应对吧~

def run():
    host = 'localhost'
    user = 'root'  #你的用户名
    password = 'xxxx'   #你的密码
    dbname = 'STOCK'  
    newdate = '2020-01-01' #此处直接设置好最新的交易日期，注意格式
    CreateDatabase(host,user,password,dbname) #创建数据库
    codeList = DownStockCode() #获取全部股票代码
    CreateTable(host,user,password,dbname,codeList) #创建数据表
    UpdateAndDown(host,user,password,dbname,newdate) #爬取股票数据并存储至数据库

def main():
    try:
        run()
    except:
        run()

main()

 

上一篇：利用Python进行股票交易分析（一）：量化交易策略——买点与卖点的量化