tushare数据分析(2)

import pandas as pd
import tushare as ts
import pymysql
import os
import docx
import time
import datetime
import warnings
from urllib import parse
from sqlalchemy import create_engine
from docx.shared import Cm, Inches
from docx.shared import RGBColor,Pt
from docx.enum.text import WD_ALIGN_PARAGRAPH
warnings.filterwarnings('ignore')

#pd.set_option()就是pycharm输出控制显示的设置
pd.set_option('expand_frame_repr', False)#True就是可以换行显示。设置成False的时候不允许换行
pd.set_option('display.max_columns', None)# 显示所有列
#pd.set_option('display.max_rows', None)# 显示所有行
pd.set_option('colheader_justify', 'centre')# 显示居中
#更高权限的接口需要收费
pro = ts.pro_api('77675d1dcec7fa0f2e893dca61d3acd7910cdd4672318f62b0354487')#level low
#df_basic = pro.stock_basic() 获取基础信息数据，包括股票代码、名称、上市日期、退市日期等
#df_daily = pro.daily()  获取所有股票日行情信息，或通过通用行情接口获取数据，包含了前后复权数据，停牌期间不提供数据
#df_daily_basic = pro.daily_basic(）获取全部股票每日重要的基本面指标，可用于选股分析、报表展示等。

def tushare_to_mysql(st_date, ed_date):  #tushare数据整理并导入mysql
    #此方法连接数据库，密码可以输入特殊字符串
    engine = create_engine('mysql://root:%[email protected]:3306/tushare?charset=utf8' % parse.unquote_plus('123456.'))
    print('数据库连接成功')
    trade_d = pro.trade_cal(exchange='SSE', is_open='1',start_date=st_date,end_date=ed_date,fields='cal_date')
    for date in trade_d['cal_date'].values:
        df_basic = pro.stock_basic(exchange='', list_status='L')    #再获取所有股票的基本信息
        df_daily = pro.daily(trade_date=date)    # 先获得所有股票的行情数据，成交额单位是千元，成交量是手
        df_daily_basic = pro.daily_basic(ts_code='', trade_date=date,fields='ts_code, turnover_rate, turnover_rate_f,'
                                                                            ' volume_ratio, pe, pe_ttm, pb, ps, ps_ttm,'
                                                                            ' dv_ratio, dv_ttm, total_share, float_share,'
                                                                            ' free_share, total_mv, circ_mv ')    #获取每日指标，单位是万股，万元
        df_first = pd.merge(left=df_basic, right=df_daily, on='ts_code', how='outer')  # on='ts_code'以ts_code为索引，合并数据，how='outer'，取并集
        df_all = pd.merge(left=df_first, right=df_daily_basic, on='ts_code', how='outer')
        # 数据清洗，删除symbol列数据，跟ts_code数据重复
        df_all = df_all.drop('symbol', axis=1)
        for w in ['name', 'area', 'industry', 'market']:  # 在'name', 'area', 'industry', 'market'列内循环填充NaN值
            df_all[w].fillna('问题股', inplace=True)

        #df_all['amount'] = df_all['amount'] / 100000  # 千转亿
        #df_all['circ_mv'] = df_all['circ_mv'] / 10000  # 万转亿
        #df_all['total_mv'] = df_all['total_mv'] / 10000  # 万转亿

        df_all['ts_code'] = df_all['ts_code'].astype(str)  # 强制转换成str字符串格式
        df_all['list_date'] = pd.to_datetime(df_all['list_date'])  # 本地储存前一定要先转化成日期格式先
        df_all['trade_date'] = pd.to_datetime(df_all['trade_date'])

        #对获取的股票数据列名称进行重命名以方便阅读
        df_all = df_all.rename(columns={
     'ts_code': '股票代码', 'name': '股票名称', 'area': '所在地域', 'industry': '行业'
                                        , 'market': '市场类型', 'list_date': '上市日期', 'trade_date': '交易日期', 'change': '涨跌额'
                                        , 'pct_chg': '涨跌幅', 'vol': '成交量（手）', 'amount': '成交额（千元）', 'turnover_rate': '换手率（%）'
                                        , 'turnover_rate_f': '流通换手率', 'volume_ratio': '量比', 'pe': '市盈率', 'pe_ttm': '滚动市盈率'
                                        , 'pb': '市净率', 'ps': '市销率', 'ps_ttm': '滚动市销率', 'dv_ratio': '股息率'
                                        , 'dv_ttm': '滚动股息率', 'total_share': '总股本（万股）', 'float_share': '流通股本（万股）'
                                        , 'free_share': '自由流通股本（万股）', 'total_mv': '总市值（万元）', 'circ_mv': '流通市值（万元）'})
        #亏损的为空值

        engine.execute('drop table if exists {}_ts;'.format(date))  #删除重复的数据表
        print('%s is downloading....' % (str(date)))
        df_all.to_sql('{}_ts'.format(date),engine,index=False)
        print('{}成功导入数据库'.format(date))

def get_mysql_data_analysis(st_date, ed_date):
    trade_d = pro.trade_cal(exchange='SSE', is_open='1', start_date=st_date, end_date=ed_date, fields='cal_date')
    conn = pymysql.connect(host='localhost', user='root', password='123456.', db='tushare', charset='utf8')  #连接数据库
    for date_now in trade_d['cal_date'].values:
        cursor = conn.cursor()  #创建游标
        sql = 'select * from {}_ts;'.format(date_now)
        cursor.execute(sql)  #执行sql操作
        col_result = cursor.description  #cursor.description方法会将每个字段的字段名,字段类型,字段长度...等等字段的属性列出来.
        result = cursor.fetchall()  #获取所有数据
        columns = []  #设置空列表用来存放数据库列段名称
        for i in range(len(col_result)):
            columns.append(col_result[i][0])  # 获取字段名，以列表形式保存
        df = pd.DataFrame(list(result),columns=columns)
        df = df.set_index('股票代码', drop=False)  #必须重新设置索引
        #df.fillna(0, inplace=True)    #fillna填充缺失数据,传入inplace=True直接修改原对象

        df['成交额（千元）'] = df['成交额（千元）']/100000    #千转亿
        df['流通市值（万元）'] = df['流通市值（万元）']/10000    #万转亿
        df['总市值（万元）'] = df['总市值（万元）']/10000    #万转亿

        # 添加交易所列
        df.loc[df['股票代码'].str.startswith('3'), 'exchange'] = 'CY'
        df.loc[df['股票代码'].str.startswith('6'), 'exchange'] = 'SH'
        df.loc[df['股票代码'].str.startswith('0'), 'exchange'] = 'SZ'

        #此change表示的是价格变化的多少，不是指上涨下跌的百分比
        df_up = df[df['涨跌额'] > 0.00]    #找出上涨的股票
        df_even = df[df['涨跌额'] == 0.00]    #找出走平的股票
        df_down = df[df['涨跌额'] < 0.00]    #找出下跌的股票

        # 找出涨停的股票
        limit_up = df[df['涨跌额']/df['pre_close'] >= 0.097]
        #print(limit_up['list_date'])
        limit_down = df[df['涨跌额']/df['pre_close'] <= -0.0970]

        # 涨停股数中的未封板股，上市日期小于15天
        limit_up_new = limit_up[pd.to_datetime(date_now) - limit_up['上市日期'] <= pd.Timedelta(days=15)]
        #print(pd.to_datetime(date_now))
        # 涨停股数中次新股，上市日期小于1年
        limit_up_fresh = limit_up[pd.to_datetime(date_now) - limit_up['上市日期'] <= pd.Timedelta(days=365)]

        # 涨停股数中的未封板股，上市日期小于15天
        limit_down_new = limit_down[pd.to_datetime(date_now) - limit_down['上市日期'] <= pd.Timedelta(days=15)]
        # 涨停股数中次新股，上市日期小于1年
        limit_down_fresh = limit_down[pd.to_datetime(date_now) - limit_down['上市日期'] <= pd.Timedelta(days=365)]
        #df_up.shape[0]获取上涨的行数，df.shape[1]获取列数，df.values获取值
        print('A股上涨个数： %d, A股下跌个数： %d, A股走平个数: %d。' % (df_up.shape[0], df_down.shape[0], df_even.shape[0]))
        print('A股总成交额：%d 亿, 总成交量：%d 手' % (df['成交额（千元）'].sum(), df['成交量（手）'].sum()))
        print('A股平均市盈率：%.2f， 平均流通市值 %.2f 亿, 平均总市值 %.2f 亿' % (df['市盈率'].mean(), df['流通市值（万元）'].mean(), df['总市值（万元）'].mean()))
        print('涨停数量：%d 个, 涨停中上市日期小于15天的：%d, 涨停中上市日期小于1年的：%d' % (limit_up.shape[0], limit_up_new.shape[0], limit_up_fresh.shape[0]))
        print('跌停数量：%d 个, 涨停中上市日期小于15天的：%d, 涨停中上市日期小于1年的：%d' % (limit_down.shape[0], limit_down_new.shape[0], limit_down_fresh.shape[0]))


        file = docx.Document()
        #设置总标题,居中
        headb = file.add_heading('%s中国股市今日收盘分析报告' % (date_now), level=0).alignment = WD_ALIGN_PARAGRAPH.CENTER
        head1 = file.add_heading('股市基本概况：',level=1)    #设置一级标题
        #添加段落内容
        text1 = file.add_paragraph() #首先创建一个空的段落，然后再往里面加文字，这样方便设置文字格式字体等设置,另外一种写法，缺点不能单独设置字体属性
        # text1 = file.add_paragraph('A股上涨个数： %d, A股下跌个数： %d, A股走平个数: %d。' % (df_up.shape[0], df_down.shape[0], df_even.shape[0]))
        text1.add_run('A股上涨个数：').bold = True    #添加文字并设置粗体
        text1.add_run('{}      '.format(str(df_up.shape[0]))).font.color.rgb = RGBColor(255, 0, 0)    #添加变量
        text1.add_run('A股下跌个数：').bold = True
        text1.add_run('{}      '.format(str(df_down.shape[0]))).font.color.rgb = RGBColor(0, 255, 0)
        text1.add_run('A股走平个数：').bold = True
        text1.add_run('{}      '.format(str(df_even.shape[0]))).font.color.rgb = RGBColor(0, 0, 255)
        text1.line_spacing = Pt(25)    #设置段落行距
        text1.style = 'List Bullet'    # 设置项目符号列表

        text2 = file.add_paragraph()
        text2.add_run('A股总成交额：').bold = True
        text2.add_run('{}'.format(str(round(df['成交额（千元）'].sum(),2)))).font.color.rgb = RGBColor(128, 0, 128)
        text2.add_run('亿      ')
        text2.add_run('总成交量：').bold = True
        text2.add_run('{}'.format(str(round(df['成交量（手）'].sum(),2)))).font.color.rgb = RGBColor(128, 0, 128)
        text2.add_run('手      ')
        text2.line_spacing = Pt(25)
        text2.style = 'List Bullet'

        text3 = file.add_paragraph()
        text3.add_run('A股平均市盈率：').bold = True
        text3.add_run('{}   '.format(str(round(df['市盈率'].mean())))).font.color.rgb = RGBColor(128, 0, 128)
        text3.add_run('平均流通市值：').bold = True
        text3.add_run('{}'.format(str(round(df['流通市值（万元）'].mean(),2)))).font.color.rgb = RGBColor(128, 0, 128)
        text3.add_run('亿')
        text3.add_run('\n')
        text3.add_run('平均总市值：').bold = True
        text3.add_run('{}'.format(str(round(df['总市值（万元）'].mean(),2)))).font.color.rgb = RGBColor(128, 0, 128)
        text3.add_run('亿      ')
        text3.line_spacing = Pt(25)
        text3.style = 'List Bullet'
        text3.add_run('\n')

        text4 = file.add_paragraph()
        text4.add_run('涨停数量：').bold = True
        text4.add_run('{}'.format(str(limit_up.shape[0]))).font.color.rgb = RGBColor(255, 0, 0)
        text4.add_run('个      ')
        text4.add_run('涨停中上市日期小于15天的：').bold = True
        text4.add_run('{}'.format(str(limit_up_new.shape[0]))).font.color.rgb = RGBColor(255, 0, 0)
        text4.add_run('个      ')
        text4.add_run('\n')
        text4.add_run('涨停中上市日期小于1年的：').bold = True
        text4.add_run('{}'.format(str(limit_up_fresh.shape[0]))).font.color.rgb = RGBColor(255, 0, 0)
        text4.add_run('个      ')
        text4.line_spacing = Pt(25)
        text4.style = 'List Bullet'

        text5 = file.add_paragraph()
        text5.add_run('跌停数量：').bold = True
        text5.add_run('{}'.format(str(limit_down.shape[0]))).font.color.rgb = RGBColor(0, 255, 0)
        text5.add_run('个      ')
        text5.add_run('跌停中上市日期小于15天的：').bold = True
        text5.add_run('{}'.format(str(limit_down_new.shape[0]))).font.color.rgb = RGBColor(0, 255, 0)
        text5.add_run('个      ')
        text5.add_run('\n')
        text5.add_run('跌停中上市日期小于1年的：').bold = True
        text5.add_run('{}'.format(str(limit_down_fresh.shape[0]))).font.color.rgb = RGBColor(0, 255, 0)
        text5.add_run('个      ')
        text5.line_spacing = Pt(25)
        text5.style = 'List Bullet'

        file.add_page_break()    #添加分页符

        def get_output(df, columns='_industry', name='_limit_up'):  #自定义计算平均市盈率，平均流通市值等函数，方便后面调用
            # df.copy（deep= False）和df.copy()都是浅拷贝，是复制了旧对象的内容，然后重新生成一个新对象，改变旧对象不会影响新对象。
            df = df.copy()
            output = pd.DataFrame()

            #df.groupby(columns)根据列值分组数据，并根据股票代码统计数据
            output = pd.DataFrame(df.groupby(columns)['股票代码'].count())

            output['平均市盈率'] = round(df.groupby(columns)['市盈率'].mean(),2)

            output['平均流通市值(亿)'] = round(df.groupby(columns)['流通市值（万元）'].mean(),2)

            output['平均总市值(亿)'] = round(df.groupby(columns)['总市值（万元）'].mean(),2)

            output['平均成交量(手)'] = round(df.groupby(columns)['成交量（手）'].mean(),2)

            output['平均成交额(亿)'] = round(df.groupby(columns)['成交额（千元）'].mean(),2)
            #依据ts_code进行降序，排序后的数据集替换原来的数据
            output.sort_values('股票代码', ascending=False, inplace=True)
            #改列值名字，将ts_code改成name+‘_count’的形式
            output.rename(columns={
     '股票代码': name + '合计'}, inplace=True)
            return output

        for i in ['行业', '市场类型', '所在地域']:
            # 对涨停的股票分析
            output_limit_up = get_output(limit_up, columns=i, name='涨停').reset_index()
            # 对跌停的股票分析
            output_limit_down = get_output(limit_down, columns=i, name='跌停').reset_index()
            # 对全量的股票分析
            output_total = get_output(df, columns=i, name='全部').reset_index()
            #添加表格开头类别说明
            tabletext = file.add_paragraph()
            tabletext.add_run('类别：').bold = True
            tabletext.add_run('{}      '.format(str(i))).font.color.rgb = RGBColor(222, 125, 44)

            # print(output_limit_up)
            # print(output_limit_down)
            # print(output_total)
            for j in [output_limit_up, output_limit_down]:   #, output_total
                #之所以生成文件慢是因为output_total这个统计需要长时间计算，如果需要速度快你可以试着把output_total去掉,当然你也可以在上面的列表内加上，变成for j in [output_limit_up, output_limit_down, output_total]
                tb = file.add_table(rows=len(j.index)+1, cols=len(j.columns),style='Medium Grid 3 Accent 1')
                tb.autofit = True  #关闭表格行宽自适应
                for x in range(len(j.columns)):
                    tb.cell(0, x).text = j.columns[x]  #添加表列头
                    #tb.cell(0, x).width = Inches(1.2)  #设置行宽
                    tb.cell(0, x).paragraphs[0].alignment = WD_ALIGN_PARAGRAPH.CENTER  #文字居中
                for row in range(len(j.index)):
                    for col in range(len(j.columns)):
                        tb.cell(row+1, col).text = str(j.iloc[row, col]) #设置行宽
                        tb.cell(row+1, col).paragraphs[0].alignment = WD_ALIGN_PARAGRAPH.CENTER #文字居中
                file.add_paragraph('\n')    #表格换行
            file.add_page_break()    #每制成一个类别表格分一次页面
        #之所以生成文件慢是因为output_total这个统计需要长时间计算，如果需要速度快你可以试着把output_total去掉
        #生成一个docx文件我的电脑需要3到4分钟左右
        file.save('E:\\James\\code\\quantitative_finance\\{}_分析报告.docx'.format(str(date_now)))
        print('{}_分析报告分析完成'.format(str(date_now)))

if __name__=="__main__":
    tushare_to_mysql('20200801', '20200902')
    get_mysql_data_analysis('20200801', '20200902')