抓住自己最有兴趣的东西,由浅入深,循序渐进地学。
——华罗庚
引 言
数据获取是金融量化分析的第一步,找不到可靠、真实的数据,量化分析就无从谈起。随着信息技术的不断发展,数据获取渠道也越来越多,尤其是Python网络爬虫,近几年愈来愈火,网络培训视频和教程满天飞。然而,很多人毕竟精力有限,没有时间专门去学习网络爬虫技术。当然,不会网络爬虫不要紧,我们还可以借助Python的开源数据包(其本质也是网络爬虫),如:tushare、baostock、pandas_datareader和yahool等财经数据API,这样可以节省不少精力。本文将以股票行情数据为例,逐一、简要介绍如何使用这几个开源库获取数据并进行可视化。在介绍使用Python的API获取数据之前,本文首先给出了根据股票涨跌驱动因素,广泛获取求证信息来源,如下面图1、2、3所示,很多网站提供了非结构化的数据(信息),如股票论坛,信息含量非常大,后期考虑使用网络爬虫爬取股票论坛评论数据,建立舆情指标,探讨群体性交易情绪与股价走势的关系。本篇属于Python金融量化入门学习的分享之一,希望能起到抛砖引玉的作用。
图1 股票涨跌驱动因素
图2 公司基本面信息源
图3 知名股票论坛
01 Tushare 社区
公众号上不少文章使用了tushare库获取财经和股票交易数据,当时用的是旧版本(tushare)。Tushare社区目前主要维护新版本:tushare pro,数据更稳定质量更高,可获取沪深股票行情、财务、市场参考等数据,以及指数(含国外股指)、基金、期货、期权、宏观经济、行业经济等财经数据,为金融量化爱好者节省了大量宝贵时间。此外,近期还增加了新闻联播的文本数据,为文本分析和数据挖掘提供了很好的素材。不过,新版本需要注册获取token才能免费使用,注册网址: https://tushare.pro/register?reg=218422 。安装(进入cmd模式):pip install tushare,或升级:pip install tushare --upgrade。下面以股票行情数据为例,展示下tushare如何获取数据。股票行情数据以股票行情数据为例,简要介绍如何获取数据。
#先引入后面分析、可视化等可能用到的库
importtushareasts
importpandasaspd
importmatplotlib.pyplotasplt
#正常显示画图时出现的中文和负号
frompylabimportmpl
mpl.rcParams['font.sans-serif']=['SimHei']
mpl.rcParams['axes.unicode_minus']=False
#设置token
token='你的token'
#ts.set_token(token)
pro = ts.pro_api(token)
个股行情数据:
pro.stock_basic()
参数:is_hs:是否沪深港通标的,N否、H沪股通、S深股通;list_status:上市状态,L上市、D退市、P暂停上市;exchange:交易所 SSE上交所,SZSE深交所,HKEX港交所。
pro.daily(ts_code= 或 trade_date=)
日行情:daily;周行情:weekly;月行情:monthly
#获取当前上市的股票代码、简称、注册地、行业、上市时间等数据
basic=pro.stock_basic(list_status='L')
#查看前五行数据
#basic.head(5)
#获取平安银行日行情数据
pa=pro.daily(ts_code='000001.SZ', start_date='20180101',
end_date='20190106')
#pa.head()
#K线图可视化
frompyechartsimportKline
pa.index=pd.to_datetime(pa.trade_date)
pa=pa.sort_index()
v1=list(pa.loc[:,['open','close','low','high']].values)
t=pa.index
v0=list(t.strftime('%Y%m%d'))
kline = Kline("平安银行K线图",title_text_size=15)
kline.add("", v0, v1,is_datazoom_show=True,
mark_line=["average"],
mark_point=["max","min"],
mark_point_symbolsize=60,
mark_line_valuedim=['highest','lowest'] )
#kline.render("上证指数图.html")
kline
#定义获取多只股票函数:
defget_stocks_data(stocklist,start,end):
all_data={}
forcodeinstocklist:
all_data[code]=pro.daily(ts_code=code,
start_date=start, end_date=end)
returnall_data
#保存本地
defsave_data(all_data):
forcode,datainall_data.items():
data.to_csv('c:/zjy/stock_data/'+code+'.csv',
header=True, index=False)
stocklist=list(basic.ts_code)[:15]
start=''
end=''
all_data=get_stocks_data(stocklist,start,end)
all_data['000002.SZ'].tail()
#将数据保存到本地
save_data(all_data)
#读取本地文件夹里所有文件
importos
#文件存储路径
file='c:/zjy/stock_data/'
g=os.walk(file)
filenames=[]
forpath,d,filelisting:
forfilenameinfilelist:
filenames.append(os.path.join(filename))
print(filenames)
#将读取的数据文件放入一个字典中
df={}
#从文件名中分离出股票代码
code=[name.split('.')[0]fornameinfilenames]
foriinrange(len(filenames)):
filename=file+filenames[i]
df[code[i]]=pd.read_csv(filename)
#查看第一只股票前五行数据
#df[code[0]].head()
指数数据:pro.index_daily(ts_code=)
defget_index_data(indexs):
'''indexs是字典格式'''
index_data={}
forname,codeinindexs.items():
df=pro.index_daily(ts_code=code)
df.index=pd.to_datetime(df.trade_date)
index_data[name]=df.sort_index()
returnindex_data
#获取常见股票指数行情
indexs={'上证综指':'000001.SH','深证成指':'399001.SZ',
'沪深300':'000300.SH','创业板指':'399006.SZ',
'上证50':'000016.SH','中证500':'000905.SH',
'中小板指':'399005.SZ','上证180':'000010.SH'}
index_data=get_index_data(indexs)
#index_data['上证综指'].head()
#对股价走势进行可视化分析
subjects =list(index_data.keys())
#每个子图的title
plot_pos = [421,422,423,424,425,426,427,428]# 每个子图的位置
new_colors = ['#1f77b4','#ff7f0e','#2ca02c','#d62728',
'#9467bd','#8c564b','#e377c2',
'#7f7f7f','#bcbd22','#17becf']
fig = plt.figure(figsize=(16,18))
fig.suptitle('A股股指走势',fontsize=18)
forposinnp.arange(len(plot_pos)):
ax = fig.add_subplot(plot_pos[pos])
y_data =index_data[subjects[pos]]['close']
b = ax.plot(y_data,color=new_colors[pos])
ax.set_title(subjects[pos])
# 将右上边的两条边颜色设置为空,相当于抹掉这两条边
ax = plt.gca()
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
plt.show()
02 Baostock 证券宝
baostock也是免费、开源的证券数据平台。提供了大量准确、完整的证券历史行情数据、上市公司财务数据等。 通过python API获取证券数据信息,可以满足量化交易投资者、数量金融爱好者、计量经济从业者数据需求。返回的数据格式: pandas DataFrame类型,以便于用pandas/NumPy/Matplotlib进行数据分析和可视化。
证券宝链接地址:http://baostock.com/baostock/index.php/Python_API文档 。安装:进入cmd模式,pip install baostock
importbaostockasbs
#### 登陆系统 ####
lg = bs.login()
#### 获取历史K线数据 ####
# query_history_k_data()
fields="date,code,open,high,low,close"
rs = bs.query_history_k_data("sh.000001", fields,
start_date='2000-01-01', end_date='2018-09-07',
frequency="d", adjustflag="2")
#frequency="d"取日k线,adjustflag="3"默认不复权,
#1:后复权;2:前复权
data_list = []
while(rs.error_code =='0') & rs.next():
# 获取一条记录,将记录合并在一起
data_list.append(rs.get_row_data())
result = pd.DataFrame(data_list, columns=rs.fields)
result.index=pd.to_datetime(result.date)
#### 结果集输出到csv文件 ####
#result.to_csv("c:/zjy/history_k_data.csv",
# encoding="gbk", index=False)
result.head()
#### 登出系统 ####
#bs.logout()
result.info()
#将某些object转化numeric
result=result.apply(pd.to_numeric, errors='ignore')
result.info()
result.close.plot(figsize=(16,8))
ax = plt.gca()
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
plt.show()
03 雅虎财经API
原来的雅虎财经Python开源库2018年后已不在维护,还好有大神推出了雅虎财经的修复版本,使用pip install fix_yahoo_finance安装。
importfix_yahoo_financeasfy
fy.pdr_override()
defget_data(tick,start_date="2000-01-01", end_date="2019-01-07"):
data = fy.download(tick, start=start_date, end=end_date)
returndata
tickers=['AAPL','GOOG','AMZN','FB']
all_data = {}
fortickerintickers:
all_data[ticker]=get_data(ticker)
subjects = ['苹果公司股价走势','谷歌公司股价走势',
'亚马逊公司股价走势','FaceBook公司股价走势']
#每个子图的title
plot_pos = [221,222,223,224]# 每个子图的位置
new_colors = ['#1f77b4','#ff7f0e','#2ca02c','#d62728',
'#9467bd','#8c564b','#e377c2',
'#7f7f7f','#bcbd22','#17becf']
fig = plt.figure(figsize=(16,9))
fig.suptitle('美股&指数走势',fontsize=18)
forposinnp.arange(len(plot_pos)):
ax = fig.add_subplot(plot_pos[pos])
y_data = all_data[tickers[pos]]['Adj Close']
b = ax.plot(y_data,color=new_colors[pos])
ax.set_title(subjects[pos])
ax = plt.gca()
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
plt.show()
WorldStockIndexList = {
'000001.SS':'中国上证指数',
'^DJI':'道琼斯工业平均指数',
'^IXIC':'纳斯达克综合指数',
'^N225':'日本日经225指数',
'^HSI':'香港恒生指数',
'^FCHI':'法国CAC40指数',
'^FTSE':'英国富时100指数',
'^GDAXI':'德国法兰克福DAX指数'}
world_data={}
fortickerinWorldStockIndexList.keys():
world_data[ticker]=get_data(ticker)
subjects =list(WorldStockIndexList.values())
tickers=list(WorldStockIndexList)
#每个子图的title
plot_pos = [421,422,423,424,425,426,427,428]
# 每个子图的位置
new_colors = ['#1f77b4','#ff7f0e','#2ca02c','#d62728',
'#9467bd','#8c564b','#e377c2',
'#7f7f7f','#bcbd22','#17becf']
fig = plt.figure(figsize=(16,18))
fig.suptitle('全球股指走势',fontsize=18)
forposinnp.arange(len(plot_pos)):
ax = fig.add_subplot(plot_pos[pos])
y_data =world_data[tickers[pos]]['Adj Close']
b = ax.plot(y_data,color=new_colors[pos])
ax.set_title(subjects[pos])
ax = plt.gca()
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
plt.show()
关于Python金融量化
专注于分享Python在金融领域的实际应用,包括金融数据分析与挖掘(含文本分析)、金融建模与量化投资等。公众号本身具有AI自动回复功能,具有查询天气、星座运势、专业名词、中英翻译、讲笑话、小故事等功能,关于公众号文章源码及其他资料,可回复“指南”查看详情。