前面介绍了pandas的使用和数据获取的基本方法(点此查看)，本篇重点以行业为维度，分析A股的相关趋势，同时介绍相关pandas函数的具体用法。
- DataFrame行列操作：
concat、merge、pivot_table
倒入相关第三方库
import numpy as np
import pandas as pd
import tushare as ts
import datetime
import matplotlib.pyplot as plt
plt.style.use('seaborn-darkgrid')
plt.rc('font', family='SimHei', size=4)
plt.rc('figure', figsize=(6,3), dpi=200)
首先还是通过tushare获取所需的数据，需要的数据如下：
- stock_basic：获取基础信息数据，包括股票代码、名称、上市日期、退市日期等
- daily_basic：获取全部股票每日重要的基本面指标
token = 'xxxxxxxxx'
pro = ts.pro_api(token=token)
slist = pro.stock_basic(exchange='', list_status='L', fields='ts_code,symbol,name,area,industry,list_date')
sbasicdf = pro.daily_basic(ts_code='', trade_date=day.strftime('%Y%m%d'))
一口气获取到一定时间范围内的全部基本面指标数据：
end_date = datetime.datetime.now()
day_range = 60 #获取到day_range 天前
day_gap = 1 #间隔天数
date_list = []
for i in range(1,day_range,day_gap):
cur_date = end_date - datetime.timedelta(days=i)
if cur_date.weekday() in [5,6]: #去除周末
continue
date_list.append(cur_date)
sbasicdfs = pd.concat([
pro.daily_basic(ts_code='', trade_date=day.strftime('%Y%m%d'))
for day in date_list
])
上面代码段出现了本篇的第一个知识点，pd.concat函数的使用，即连接相同结构的DataFrame为一个:
- pd.concat(dataframe的列表, ...)
- 默认按行连接，通过第二个参数axis来控制，默认axis=0, axis=1时按列连接
- 其他注意点：列表推导的使用；datetime正确处理时间...
现在我们有了股票列表（包含行业）slist ，以及股票的基本面数据sbasicdfs, 为了查看不同行业的整体情况，首先需要通过pandas.merge来合并这两项数据；merge的用法点此查看
sm = pd.merge(sbasicdfs, slist, on='ts_code')
合并两个df之后，需要按行业来聚合不同的字段，例如想要查看行业的市值，pe等相关数据：
sm_by_ind = sm.groupby([
'industry',
'trade_date'
]).agg({
'total_mv': 'sum',
'turnover_rate': 'mean',
'turnover_rate_f': 'mean',
'pe': 'mean',
'pe_ttm': 'mean',
'pb': 'mean',
'dv_ratio': 'mean',
'ts_code': 'count'
}).sort_values(by='turnover_rate', ascending=True)
sm_by_ind = sm_by_ind.reset_index()
sm_by_ind.trade_date = pd.to_datetime(sm_by_ind.trade_date, format="%Y%m%d")
sm_by_ind.set_index("trade_date", inplace=True)
想要查看按行业市值的历史比较的话，由于不同行业市值差异较大，难以同比，因此需要将数据归一化处理；
# 将行业由行上显示，转换为在列上显示，一列是一个行业的市值历史记录，按时间顺序
pt = pd.pivot_table(sm_by_ind, values='total_mv', columns=['industry'], index=sm_by_ind.index)
# 归一化
for col in sm_by_ind.industry.value_counts().index.values:
cur_max = pt[col].max()
cur_min = pt[col].min()
pt[col] = (pt[col] - cur_min)/(cur_max-cur_min)
最后可以查看任意行业的市值趋势对比了，注意Y轴是归一化的数值
pt[[
'互联网', '银行'
]].rolling(20).mean().plot(linewidth=0.6)
银行-互联网.png
转载请注明文章来源