python 回归 statsmodels_FamaMacbeth 回归和NeweyWest调整

1. 综述

Fama Macbeth是一种通过回归方法做因子检验，并且可以剔除残差截面上自相关性的回归方法，同时为了剔除因子时序上的自相关性，可以通过Newey West调整对回归的协方差进行调整。

2. 原理

2.1 系数估计

Fama Macbeth回归分为两步，第一步是横截面回归 ，在截面上用股票收益率对各因子暴露做回归，得到各因子的收益率；第二部是对系数的时间序列取平均得到作为参数的估计值，并进行t检验，t检验用到的标准误经过Newey West调整，总结如下

2.2 标准误估计

• 简单估计

其中，分子上为回归系列的标准差，可以直接计算，也可以进行Newey West调整消除异方差和序列自相关。

• Newey West 调整

 Newey West的原理主要参考了石川大佬的文章[2][3]，简单说明，考虑一个线性模型

当残差不存在异方差和自相关性时，残差协方差阵为单位阵的倍数，回归系数的协方差估计是一致估计量，当残差存在异方差或自相关性时，协方差阵估计有问题，可以通过Newey West调整解决，具体来说是估计上式中的

Newey West调整即对Q进行估计，最终给出的估计量具有一致性，表达式如下，用S表示

上式中，括号中第一项为仅有异方差时的调整，后面一项为针对自相关的调整，其中，e为样本残差，L为计算自相关性影响的最大滞后阶数，w_l是滞后期l的系数，从公式来看，随着滞后期数的增加，影响减小。将S带入系数协方差阵的估计可以得到协方差的Newey West估计量

其中，L常用的取法有很多种，python的famamacbeth函数的取法包括

以上是对于OLS的Newey West调整，对于Fama Macbeth回归，是对已经回归出来的一堆beta系数序列的方差进行调整，跟回归有一定差别，可以做一个转换：用回归出来的所有beta做因变量，1做自变量，做一个回归，这样回归出来的系数是所有beta的均值，残差也捕捉了beta中的异方差性和自相关性，对这个回归方程做newey west即可，这个在石川大佬的文章中有更细致的说明。

3. Python实现

Python的linearmodels中自带FamaMacBeth函数，本文一方面调用这一函数，另一方面自己写，用两种方法实现Fama Macbeth回归，确保结果的准确性。

数据使用2010-2018年全A股的市值、动量、PB、roe因子进行测试。

3.1 数据载入

from linearmodels import FamaMacBeth
import numpy as np
import pandas as pd

import datetime

import statsmodels.api as sm
import statsmodels.formula.api as sml

def getICSeries(factors,ret,method):
    

    icall = pd.DataFrame()
    fall = pd.merge(factors,ret,left_on = ['tradedate','stockcode'],right_on = ['tradedate','stockcode'])
    icall = fall.groupby('tradedate').apply(lambda x:x.corr(method = method)['ret']).reset_index()
    icall = icall.drop(['ret'],axis = 1).set_index('tradedate')

    return icall


def ifst(x):
    if pd.isnull(x.entry_dt):
        return 0
    elif (x.tradedate < x.entry_dt) |(x.tradedate > x.remove_dt):
        return 0
    else:
        return 1


def ols_coef(x,y):
    x = x.astype('float64')
    y = y.astype('float64')

    return sm.OLS(y,sm.add_constant(x),missing = 'drop').fit().params



def ols_coef1(x,formula):
    return sml.ols(formula, data=x).fit(missing = 'drop').params
price = pd.read_csv('price.csv',index_col = 0)
pb = pd.read_csv('pb.csv',index_col = 0)
roe = pd.read_csv('roe.csv',index_col = 0)
mkt = pd.read_csv('mkt.csv',index_col = 0)
ST = pd.read_excel('ST.xlsx')

'''
收益率计算
'''

price['tradedate'] = price.tradedate.apply(getdate)
ret_m = getRet(price,freq ='m',if_shift = True)
mom1 = getRet(price,freq ='m',if_shift = False)
mom1 = mom1.rename(columns = {'ret':'mom1'})

fall = pd.merge(pb,roe,left_on = ['tradedate','stockcode'],right_on = ['tradedate','stockcode'])
fall = pd.merge(fall,mkt,left_on = ['tradedate','stockcode'],right_on = ['tradedate','stockcode'])
fall['tradedate'] = fall.tradedate.apply(getdate)
fall = pd.merge(fall,mom1,left_on = ['tradedate','stockcode'],right_on = ['tradedate','stockcode'])
del fall['rptdate']




fall = pd.merge(fall,ST,left_on = 'stockcode',right_on = 'stockcode',how = 'left')
fall['if_st'] = fall.apply(ifst,axis = 1)
fall = fall.loc[fall.if_st == 0].reset_index(drop = True)
fall = fall.drop(['if_st','entry_dt','remove_dt'],axis = 1)


alldata = pd.merge(fall,ret_m,left_on = ['tradedate','stockcode'],right_on = ['tradedate','stockcode'])
alldata['mktcap'] = np.log(alldata.mktcap)

3.2 计算因子IC

alldata中包含所有的因子和收益率数据，并且已经剔除了ST，用alldata做测试。首先用alldata计算因子的IC，ICIR结果如下

ics = getICSeries(fall,ret_m,'spearman')
icir = ics.mean()/ics.std()*np.sqrt(12)
ics.cumsum().plot()

3.3 Fama macbeth回归

接下来用这四个因子做FamaMacbeth回归，首先用python自带的函数FamaMacbeth

这个函数用法和statsmodels中的OLS基本一致，输入因变量(dependent)，自变量(exog)和样本权重(weights)，需要注意的是因变量、自变量都是面板数据，或者用MultiIndex的dataframe，日期在前，个体编码在后。生成FamaMacbeth对象后用fit方法进行系数估计,fit的输入参数较多

• cov_type表示是否对方差进行调整，'unadjusted'表示不调整，默认为不调整。'kernel'表示调整，即用Newey West方法进行调整

• debiased：是否对协方差进行自由度调整，即分母用n还是n-1

• bandwitdh：窗宽，即上文NW调整中的L，如果不设置会通过算法自动生成最优的，也可以根据上面L的公式手动输入。

关于这两个函数的细致说明可以参考[1]，这里首先给出不进行调整的回归结果

fmdata = alldata.set_index(['stockcode','tradedate'])
fm = FamaMacBeth(dependent = fmdata['ret'],
                 exog = sm.add_constant(fmdata[['pb','mktcap','mom1','roe_ttm']]))
res_fm = fm.fit(debiased=False)
res_fm

手动回归并与上述结果相对比

res = alldata.dropna().groupby('tradedate').apply(ols_coef1,'ret ~ 1 + pb + mktcap + mom1 + roe_ttm')
res.mean()

res.std(ddof = 0)/np.sqrt(res.shape[0])

• 回归系数

• 回归标准误

接下来看Newey West调整后的结果，这里根据上面的公式计算最优的L

T = res.shape[0]
L = int(np.ceil(4 * (T / 100) ** (2 / 9)))

取bandwidth = 5，NW调整后的回归结果如下

res_fm = fm.fit(cov_type= 'kernel',debiased = False,bandwidth = 5)
res_fm

手动回归，用beta序列对1进行回归，对结果做NW调整，这里回归用statsmodels中的OLS函数构造辅助函数ols_nw_se完成，最大滞后阶数也设置为5，返回标准误

def ols_nw_se(y):
    return sm.OLS(y.values,np.ones(len(y))).fit(missing = 'drop',cov_type = 'HAC',cov_kwds={'maxlags':5}).bse

res.apply(ols_nw_se,axis = 0)

最后对回归结果做简单分析，从FM结果来看，市值和动量通过了显著性检验，方向与IC的方向一致，表明因子对股票收益率有一定的解释力，pb、roe未能通过检验，表明这两个因子中的信息有跟其他两个重叠了，没有信息增益。但是要说明本文建模整个过程都比较粗糙，只是为实现FM回归，结论不具有一般性。

获取数据源码，后台回复"famamacbeth"

参考文献

[1]https://bashtage.github.io/linearmodels/panel/models.html#linearmodels.panel.model.FamaMacBeth 

[2] https://zhuanlan.zhihu.com/p/40984029 

[3] https://zhuanlan.zhihu.com/p/54913149

[4] Fama E F, MacBeth J D. Risk, return, and equilibrium: Empirical tests[J]. Journal of political economy, 1973, 81(3): 607-636.