R语言时间序列处理介绍--以A股财报数据处理为案例

本文以处理A股财务报表为例,介绍了将数据转换成时间序列后在进行处理的一些方法和思路。将会用到xts,lapply,do.call等数据结构和函数。

1、 简介

我们从各个途径获得了个股的财务报表原始数据后,还需要对数据做一些处理,以便后续指标计算和使用。举个简单的例子,个股发布的利润表和现金流量表,在年内各个季度值都是累计值,不方便环比比较,所以我们现在想把它们全部都处理成当季实际发生额。对于这样的数据,无论是SQL还是R,Python里面传统的数据结构,实现起来都是要费一番功夫进行数据处理的。但是如果使用了时间序列的方法,再结合一些R语言自带的语法结构,只需要短短几行代码,就能完成复杂的数据清洗。

2、 原始数据

原始文件我已经整理好了,记录了万科,国农科技,世纪星源和深振业A这四只股票从2014年一季度到2017年三季度,利润表里“营业总收入”的数据(单位:万元)。每只个股有15条记录,合计60行数据。数据结构如下:

## 'data.frame':    60 obs. of  3 variables:
##  $ 季度      : chr  "2017-09-30" "2017-06-30" "2017-03-31" "2016-12-31" ...
##  $ 名称      : chr  "万科" "万科" "万科" "万科" ...
##  $ 营业总收入: int  11710050 6981048 1858923 24047724 11705480 7479529 1461131 19554913 7959621 5026680 ...

以万科为例,具体内容如下:data[data$名称==“万科”,]

##          季度 名称 营业总收入
## 1  2017-09-30 万科   11710050
## 2  2017-06-30 万科    6981048
## 3  2017-03-31 万科    1858923
## 4  2016-12-31 万科   24047724
## 5  2016-09-30 万科   11705480
## 6  2016-06-30 万科    7479529
## 7  2016-03-31 万科    1461131
## 8  2015-12-31 万科   19554913
## 9  2015-09-30 万科    7959621
## 10 2015-06-30 万科    5026680
## 11 2015-03-31 万科     889434
## 12 2014-12-31 万科   14638800
## 13 2014-09-30 万科    6313959
## 14 2014-06-30 万科    4096190
## 15 2014-03-31 万科     949722

我们看到,每只个股按照时间倒序排列,营业总收入是一个累计值。比如,表中显示万科在2017年3季度的营业收入为11710050(万元),2季度的营业收入为6981048(万元),那么万科2017年3季度的营业收入世纪发生额为11710050-6981048=4729002 万元。我们的目的是在原始数据的基础之上,再加一列,把单季度的发生额加在后面。

3、处理过程

  • 3.1、数据切分
    原始数据里有4只股票,他们的数据结构是一致的,处理方法也一致,为了方便处理,把原始数据从数据框切成列表。在dataframe上使用split,可以将dataframe按照指定的条件切成一个个列表。示例如下:

     data<-split(data,data$名称)   
    
    #数据类型
    class(data)
    ## [1] "list"
    
    #列表名称
    names(data)
    
    ## [1] "国农科技" "深振业A"  "世纪星源" "万科"
    
    #第一个列表内容
    data[[1]]
     
     ##          季度     名称 营业总收入
    ## 16 2017-09-30 国农科技       7100
    ## 17 2017-06-30 国农科技       2929
    ## 18 2017-03-31 国农科技       1087
    ## 19 2016-12-31 国农科技      28767
    ## 20 2016-09-30 国农科技      21757
    ## 21 2016-06-30 国农科技      10215
    ## 22 2016-03-31 国农科技       1348
    ## 23 2015-12-31 国农科技      12045
    ## 24 2015-09-30 国农科技       8889
    ## 25 2015-06-30 国农科技       5955
    ## 26 2015-03-31 国农科技       2094
    ## 27 2014-12-31 国农科技       8061
    ## 28 2014-09-30 国农科技       4842
    ## 29 2014-06-30 国农科技       2743
    ## 30 2014-03-31 国农科技       1130
    

    这样数据从dataframe切分成了4个列表,分别对应每一只个股。

  • 3.2、数据处理

    • 3.2.1: 将数据转换成时间序列
      df<-data[[1]]
      df$季度<-as.Date(df$季度)
      df<-as.xts(df[-c(1,2)],order.by=df$季度)
      class(df)
      ## [1] "xts" "zoo"
      df
      ##            营业总收入
      ## 2014-03-31       1130
      ## 2014-06-30       2743
      ## 2014-09-30       4842
      ## 2014-12-31       8061
      ## 2015-03-31       2094
      ## 2015-06-30       5955
      ## 2015-09-30       8889
      ## 2015-12-31      12045
      ## 2016-03-31       1348
      ## 2016-06-30      10215
      ## 2016-09-30      21757
      ## 2016-12-31      28767
      ## 2017-03-31       1087
      ## 2017-06-30       2929
      ## 2017-09-30       7100
      
      
      时间序列只能处理数值型的数据,数据转化成时间序列后,原来数据框中的日期和名称都消失了。要在后面在加上去。现在开始计算单季数据,只要拿当前的值减去上期的值即可。在时间序列了,可以使用DIFF差分函数来实现,diff(x,n),表示将当前值减去N个周期前的值。默认n=1.将处理后的数据合并会原来的数据。并把日期加上去。
      datadiff<-diff(df)
      datanew<-as.data.frame(merge(df,datadiff))
      datanew<-cbind(row.names(datanew),datanew)
      colnames(datanew)<-c("季度","营业总收入","营业总收入单季")
      datanew
      
      ##                  季度 营业总收入 营业总收入单季
      ## 2014-03-31 2014-03-31       1130             NA
      ## 2014-06-30 2014-06-30       2743           1613
      ## 2014-09-30 2014-09-30       4842           2099
      ## 2014-12-31 2014-12-31       8061           3219
      ## 2015-03-31 2015-03-31       2094          -5967
      ## 2015-06-30 2015-06-30       5955           3861
      ## 2015-09-30 2015-09-30       8889           2934
      ## 2015-12-31 2015-12-31      12045           3156
      ## 2016-03-31 2016-03-31       1348         -10697
      ## 2016-06-30 2016-06-30      10215           8867
      ## 2016-09-30 2016-09-30      21757          11542
      ## 2016-12-31 2016-12-31      28767           7010
      ## 2017-03-31 2017-03-31       1087         -27680
      ## 2017-06-30 2017-06-30       2929           1842
      ## 2017-09-30 2017-09-30       7100           4171
      
      

    注意到这个结果还有一个问题,一个是一季度的数据不需要减去上期值,一季度的单季数值等于累计值。所以数据还要处理一下。

        #quarter 方法来自lubridate包,可以传入文本判断季度
        datanew[quarter(datanew$季度)==1,3]=datanew[quarter(datanew$季度)==1,2]
    
  • 3.2.2:处理所有列表数据
    把以上代码包装一下,所有的个股都按照这个方法处理。不建议在R里使用循环,这里使用Lappy来轮询处理每一个列表数据。Lappy可以传入列表、数据框,返回一个列表。

        DataPrc<-function (x){
        
        #转成时间序列
        x$季度<-as.Date(x$季度)
        StkNam<-as.character(x$名称[1])
        x<-as.xts(x[-c(1,2)],order.by=x$季度)
        
        #利用差分计算单期值并合并
        x.diff<-diff(x)
        x.new<-as.data.frame(merge(x,x.diff))
        x.new<-cbind(row.names(x.new),StkNam,x.new)
        colnames(x.new)<-c("季度","名称","营业总收入","营业总收入单季")
        #处理特殊情况
        #quarter 方法来自lubridate包,可以传入文本判断季度
        x.new[quarter(x.new$季度)==1,4]=x.new[quarter(x.new$季度)==1,3]
        
        x.new
        
        }
        
        stkdata<-lapply(data,DataPrc)
        
        stkdata
        
        ## $国农科技
        ##                  季度     名称 营业总收入 营业总收入单季
        ## 2014-03-31 2014-03-31 国农科技       1130           1130
        ## 2014-06-30 2014-06-30 国农科技       2743           1613
        ## 2014-09-30 2014-09-30 国农科技       4842           2099
        ## 2014-12-31 2014-12-31 国农科技       8061           3219
        ## 2015-03-31 2015-03-31 国农科技       2094           2094
        ## 2015-06-30 2015-06-30 国农科技       5955           3861
        ## 2015-09-30 2015-09-30 国农科技       8889           2934
        ## 2015-12-31 2015-12-31 国农科技      12045           3156
        ## 2016-03-31 2016-03-31 国农科技       1348           1348
        ## 2016-06-30 2016-06-30 国农科技      10215           8867
        ## 2016-09-30 2016-09-30 国农科技      21757          11542
        ## 2016-12-31 2016-12-31 国农科技      28767           7010
        ## 2017-03-31 2017-03-31 国农科技       1087           1087
        ## 2017-06-30 2017-06-30 国农科技       2929           1842
        ## 2017-09-30 2017-09-30 国农科技       7100           4171
        
        ## $深振业A
        ##                  季度    名称 营业总收入 营业总收入单季
        ## 2014-03-31 2014-03-31 深振业A      26292          26292
        ## 2014-06-30 2014-06-30 深振业A      49149          22857
        ## 2014-09-30 2014-09-30 深振业A      64985          15836
        ## 2014-12-31 2014-12-31 深振业A     232873         167888
        ## 2015-03-31 2015-03-31 深振业A     138923         138923
        ## 2015-06-30 2015-06-30 深振业A     202261          63338
        ## 2015-09-30 2015-09-30 深振业A     230546          28285
        ## 2015-12-31 2015-12-31 深振业A     365431         134885
        ## 2016-03-31 2016-03-31 深振业A      38249          38249
        ## 2016-06-30 2016-06-30 深振业A      86869          48620
        ## 2016-09-30 2016-09-30 深振业A     114571          27702
        ## 2016-12-31 2016-12-31 深振业A     335883         221312
        ## 2017-03-31 2017-03-31 深振业A     116791         116791
        ## 2017-06-30 2017-06-30 深振业A     186960          70169
        ## 2017-09-30 2017-09-30 深振业A     231926          44966
        ## 
        ## $世纪星源
        ##                  季度     名称 营业总收入 营业总收入单季
        ## 2014-03-31 2014-03-31 世纪星源       1218           1218
        ## 2014-06-30 2014-06-30 世纪星源       2386           1168
        ## 2014-09-30 2014-09-30 世纪星源       3585           1199
        ## 2014-12-31 2014-12-31 世纪星源       5278           1693
        ## 2015-03-31 2015-03-31 世纪星源       1349           1349
        ## 2015-06-30 2015-06-30 世纪星源       3629           2280
        ## 2015-09-30 2015-09-30 世纪星源       4576            947
        ## 2015-12-31 2015-12-31 世纪星源       8413           3837
        ## 2016-03-31 2016-03-31 世纪星源       4342           4342
        ## 2016-06-30 2016-06-30 世纪星源      18995          14653
        ## 2016-09-30 2016-09-30 世纪星源      35050          16055
        ## 2016-12-31 2016-12-31 世纪星源      48186          13136
        ## 2017-03-31 2017-03-31 世纪星源       7145           7145
        ## 2017-06-30 2017-06-30 世纪星源      20360          13215
        ## 2017-09-30 2017-09-30 世纪星源      31423          11063
        
        ## $万科
        ##                  季度 名称 营业总收入 营业总收入单季
        ## 2014-03-31 2014-03-31 万科     949722         949722
        ## 2014-06-30 2014-06-30 万科    4096190        3146468
        ## 2014-09-30 2014-09-30 万科    6313959        2217769
        ## 2014-12-31 2014-12-31 万科   14638800        8324841
        ## 2015-03-31 2015-03-31 万科     889434         889434
        ## 2015-06-30 2015-06-30 万科    5026680        4137246
        ## 2015-09-30 2015-09-30 万科    7959621        2932941
        ## 2015-12-31 2015-12-31 万科   19554913       11595292
        ## 2016-03-31 2016-03-31 万科    1461131        1461131
        ## 2016-06-30 2016-06-30 万科    7479529        6018398
        ## 2016-09-30 2016-09-30 万科   11705480        4225951
        ## 2016-12-31 2016-12-31 万科   24047724       12342244
        ## 2017-03-31 2017-03-31 万科    1858923        1858923
        ## 2017-06-30 2017-06-30 万科    6981048        5122125
        ## 2017-09-30 2017-09-30 万科   11710050        4729002
        



    - **4、合并**
   
    以上结果显示数据都是列表,把它们合成一个数据框。方便后续处理。你当然可以选择使用循环将列表合并,但R里处理循环的效率实在无法恭维。这里有个更好的办法,代码如下:
    
    ```
    result<- do.call(rbind,stkdata)
    rownames(result) <- NULL
    head(result[result$名称=="世纪星源",],2)
    
    #          季度     名称 营业总收入 营业总收入单季
    ## 31 2014-03-31 世纪星源       1218           1218
    ## 32 2014-06-30 世纪星源       2386           1168
    

do.call() 是告诉列表一个函数,让列表里的所有元素来执行这个函数。将其用于列表合并,效果比循环好太多。

这样,我们就把数据整理完毕了。这种差分的数据处理方法,在很多场景都有应用。比如运营上拿到了一系列周期上的指标数值,都同时会看看同比、环比的增减情况。这些数据使用传统的数据结构,使用传统的数据处理方法,计算脚本都是很复杂的,而把数据转化成时间序列后,这些处理的过程都可以用简单的方法解决。另外,在使用R进行数据分析时,应该利用这种向量化语言的特点,用向量化的方法处理数据。

你可能感兴趣的:(数据分析,R,A股,时间序列,数据分析)