python数据分析应用 - 近5年八类资产价格走势分析

最近发现PYTHON与TABLEAU的组合简直就是我们数据分析爱好者的绝佳工具组合。最近对大类资产配置这个问题产生了较大的兴趣，笔者就使用python作为数据获取、数据处理的工具，同时采用tableau作为数据展现的工具简单分析了8大类资产近5年多的价格走势，也许会对当下大类资产配置决策提供一些参考依据。这8大类资产包括：

• 小麦
• 大豆
• 新华富时A50指数
• 铜
• 原油
• 黄金
• 美元指数
• 道琼斯指数

数据获取

数据来源，直接爬取investing.com网站公布的各大类资产日行情数据，以黄金为例python源代码如下：

#首先需要安装selenium以及chrome驱动
from selenium import webdriver
def crawlMainIndex():
    '''
    在INVESTING.COM网站下下载最新的常见指数行情
    '''
    driver=webdriver.Chrome()
    #爬取黄金指数行情
    mainIndexDownloader(driver,'gold','http://cn.investing.com/commodities/gold-historical-data')
    #此处省略爬取其它指数行情...
    driver.quit()

def mainIndexDownloader(driver,indextype,url):
    '''
        根据xpath定位交易日、收盘价、开盘价、最高价、最低价、成交量、日涨幅等日行情数据
        最后保存到数据库当中，为了可以每天增量下载，这里直接使用django的持久化框架。
    '''
    time.sleep(1)
    driver.get(url)
    time.sleep(1)
    i = 1
    while True:
        quotes = driver.find_elements_by_xpath('//*[@id="curr_table"]/tbody/tr[%d]/td' % i)
        if len(quotes) == 0:
            break
        #mainIndexQuote类直接映射为mysql数据库当中cron_mainindexquote表
        data = mainIndexQuote(
            tradeday=dateConverter(quotes[0].text),
            closeprice=quotes[1].text,
            openprice=quotes[2].text,
            highprice=quotes[3].text,
            lowprice=quotes[4].text,
            tradevol=quotes[5].text,
            chgpcnt=quotes[6].text.replace('%', ''),
            type=indextype
        )
        existList = mainIndexQuote.objects.filter(tradeday=dateConverter(quotes[0].text)).filter(type=indextype)
        #判断是否数据库当中已经存在，不存在则插入
        if len(existList) == 0:
            #持久化，保存在数据库当中
            data.save()
        i += 1

数据处理

想要分析抓取下来的8类资产价格走势，必须要解决以下几个问题：

• 不同品种的交易日期并不完全相同，放到一起展示，存在不对齐现象，即缺失值，必须对缺失值进行处理
• 不同交易品种，价格分布的区间不一样，需要进行规一化处理
• 由于数据库当中表的存储方式为长表，需要转换为宽表，具体原理请参见笔者的另一篇笔记Python数据分析之重塑reshaping与交叉表pivot table(1)

python语言当中的数据分析包pandas为解决上述数据分析过程当中的常见问题提供了非常便捷的方法，对应的源代码如下，可以看出上述三个问题，只需要两行代码

import pandas as pd
def analyseMainIndex():
    '''
    根据历史数据抓取的各主要指数行情，分析大类资产栩置情况
    :return:
    '''
    with engine.connect() as conn, conn.begin():
        df = pd.read_sql_table('cron_mainindexquote', conn)
    #由于数据库当中表的存储方式为长表，需要转换为宽表，具体原理请参见笔者的另一篇笔记
    #http://www.jianshu.com/p/e7ac9a0f5e6c
    df1=df.pivot(index='tradeday', columns='type', values='closeprice')
    #使用后向填充，作为缺失值处理方式,当然也可以使用前期填充，修改bfill参数值即可
    #通过使用lambda匿名函数可以将不同大类资产的价格规范化为[0,1]区间，方便合并展示
    df2=df1.fillna(method='bfill').apply(lambda x: (x - np.min(x)) / (np.max(x) - np.min(x)))
    #将处理后的规范化的数据直接存储到CSV文件当中，当然此处也可以直接保存到数据库当中
    df2.to_csv(r'd:\temp\normalization.csv')

数据展现

数据可视化的意义在于，让人在信息爆炸时代快速、直观地获取自已关注的信息。通过tableau直连前面已经清理整理好的csv数据文件之后，几秒钟之内即可绘制出8类资产价格走势图。效果如下：

8类资产近5年价格走势.png

从上图中可以发现，在这八大类资产当中，小麦、大豆、铜、石油都处于近5年来的相对价格低位，而美元指数、道指、已经处于5年内价格高位，正所谓，人往高处走，水往低处流，那是不是说近5年来的相对低位的资产种类看多就会因为被低估而比较安全呢？至少从近期来看，结论似乎是对的，但相信答案没有那么简单。

工行网银交易截图

图片发自App

提出问题，收集数据，学习原理，尝试回答问题，正是数据分析的迷人之处。