照猫画虎完成上证50结构可视化
猫在这里 Visualizing the stock market structure
画虎的大致步骤
- 第一步，使用tushare获取上证50股票列表
- 第二步，使用tushare获取每只股票的历史交易数据
- 第三步，对数据进行处理，使用sklearn的相关模型进行嵌套，根据算法获得分类化的输出
- 第四步，使用sklearn，做一次局部线性嵌入，数据降为二维
- 第五步，使用matplotlib，二维数据可视化
既然说了是照猫画虎，原理什么的自然是无力解释，相关概念还是靠搜索引擎吧。
完整代码
from datetime import datetime
import tushare as ts
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.collections import LineCollection
from sklearn import cluster, covariance, manifold
# 第一步
pool = ts.get_sz50s()
names = pool.name
pool.head(10)
image.png
# 第二步
d1 = '2014-01-01'
d2 = '2017-09-30'
variation = pd.DataFrame()
for code in pool.code:
k = ts.get_k_data(code, d1, d2).set_index('date')
var = k['close'] - k['open']
var.name = code
variation = pd.concat([variation, var], axis=1)
可能是网速原因，有时候拿数据很慢，为了便于数据的重复利用，可以把得到的结果暂时保存起来
variation.fillna(method='ffill', inplace=True)
# variation.fillna(0,inplace=True)
variation.to_csv('sz50.csv')
不同的缺省值处理会造成不同的分类结果，但是差异不大。如果把缺省部分全部处理成0，调试的时候会遇到 ‘the system is too ill-conditioned for this solver’。难道是数据量不够？
anyway，该死的停牌。
# 第三步
variation = pd.read_csv('sz50.csv', index_col=0)
# 缺省值处理
variation.fillna(0,inplace=True)
edge_model = covariance.GraphLassoCV()
X = variation.copy()
X /= X.std(axis=0)
edge_model.fit(X)
_, labels = cluster.affinity_propagation(edge_model.covariance_)
n_labels = labels.max()
print labels
for i in range(n_labels + 1):
print('Cluster %i: %s' % ((i + 1), ', '.join(names[labels == i])))
[ 6 6 0 12 10 6 6 0 1 6 10 2 1 1 4 3 1 10 4 5 10 10 6 0 6
6 7 10 12 8 6 6 6 6 7 6 6 6 7 10 9 10 7 6 0 11 10 12 6 12]
Cluster 1: 中国石化, 中国联通, 中国神华, 中国石油
Cluster 2: 同方股份, 信威集团, 康美药业, 绿地控股
Cluster 3: 华夏幸福
Cluster 4: 山东黄金
Cluster 5: 贵州茅台, 伊利股份
Cluster 6: 江苏银行
Cluster 7: 浦发银行, 民生银行, 招商银行, 保利地产, 上汽集团, 大秦铁路, 兴业银行, 北京银行, 农业银行, 中国平安, 交通银行, 新华保险, 工商银行, 中国太保, 中国人寿, 光大银行, 中国银行
Cluster 8: 中国铁建, 中国中铁, 中国建筑, 中国交建
Cluster 9: 上海银行
Cluster 10: 中国中车
Cluster 11: 中信证券, 北方稀土, 海通证券, 东方证券, 招商证券, 东兴证券, 华泰证券, 光大证券, 方正证券
Cluster 12: 中国银河
Cluster 13: 南方航空, 国泰君安, 中国核电, 中国重工
# 第四步
node_position_model = manifold.LocallyLinearEmbedding(
n_components=2, eigen_solver='dense', n_neighbors=6)
embedding = node_position_model.fit_transform(X.T).T
# 第五步
font = {'family': 'SimHei',
'color': 'black',
'weight': 'normal',
'size': 18,
}
plt.figure(1, facecolor='w', figsize=(10, 8))
plt.clf()
ax = plt.axes([0., 0., 1., 1.])
plt.axis('off')
partial_correlations = edge_model.precision_.copy()
d = 1 / np.sqrt(np.diag(partial_correlations))
partial_correlations *= d
partial_correlations *= d[:, np.newaxis]
non_zero = (np.abs(np.triu(partial_correlations, k=1)) > 0.02)
plt.scatter(embedding[0], embedding[1], s=100 * d ** 2, c=labels,
cmap=plt.cm.spectral)
start_idx, end_idx = np.where(non_zero)
segments = [[embedding[:, start], embedding[:, stop]]
for start, stop in zip(start_idx, end_idx)]
values = np.abs(partial_correlations[non_zero])
lc = LineCollection(segments,
zorder=0, cmap=plt.cm.hot_r,
norm=plt.Normalize(0, .7 * values.max()))
lc.set_array(values)
lc.set_linewidths(15 * values)
ax.add_collection(lc)
for index, (name, label, (x, y)) in enumerate(
zip(names, labels, embedding.T)):
dx = x - embedding[0]
dx[index] = 1
dy = y - embedding[1]
dy[index] = 1
this_dx = dx[np.argmin(np.abs(dy))]
this_dy = dy[np.argmin(np.abs(dx))]
if this_dx > 0:
horizontalalignment = 'left'
x = x + .002
else:
horizontalalignment = 'right'
x = x - .002
if this_dy > 0:
verticalalignment = 'bottom'
y = y + .002
else:
verticalalignment = 'top'
y = y - .002
plt.text(x, y, name, fontdict=font, size=10,
horizontalalignment=horizontalalignment,
verticalalignment=verticalalignment,
bbox=dict(facecolor='w',
edgecolor=plt.cm.spectral(label / float(n_labels)),
alpha=.6))
plt.xlim(embedding[0].min() - .15 * embedding[0].ptp(),
embedding[0].max() + .10 * embedding[0].ptp(),)
plt.ylim(embedding[1].min() - .03 * embedding[1].ptp(),
embedding[1].max() + .03 * embedding[1].ptp())
plt.show()
image.png
回头再看看被分类的股票
选出两组，看看所选时间段内是否真的走势相近
中国铁建, 中国中铁, 中国建筑, 中国交建
贵州茅台, 伊利股份
fit = [ True if name in [u'中国铁建', u'中国中铁', u'中国建筑', u'中国交建', u'贵州茅台', u'伊利股份'] else False for name in pool.name]
picked = pool[fit]
print picked
code name
14 600519 贵州茅台
18 600887 伊利股份
26 601186 中国铁建
34 601390 中国中铁
38 601668 中国建筑
42 601800 中国交建
close = pd.DataFrame()
for code in picked.code:
p = ts.get_k_data(code, d1, d2).set_index('date')['close']
p = p/p.mean()
p.name = code
close = pd.concat([close, p], axis=1)
close.head()
image.png
close.loc[:,['600519','600887']].plot()
plt.show()
image.png
close.loc[:,['601186', '601390', '601668', '601800']].plot()
plt.show()
image.png