生存分析的来历
生存分析（Survival Analysis）来源于基础医学领域，最早用来研究各种治疗方案对病人寿命的影响。而寿命则用一个end event（死亡）的方式衡量。基本定义如下：
T为标记事件发生的时间。
- 生存函数（Survival Function）。用来描述未发生end event的样本的比例随时间变化的趋势。
$S(t) = P(T > t)$
- Hazard函数(Hazard Function)。描述end event发生的概率变化率。
$\lambda (t) = {lim}_{h\to 0} \frac{P(t \le T < t + h | T \ge t)}{h}$
- 两个函数之间的关系:
$S(t) = e^{-\int_{0}^t \lambda (s)ds}$
生存分析与新用户行为
然而，生存分析的定义本身让它和很多用户行为事件本身发生联系。譬如，用户流失和生存分析研究的概念完全一致，而常见的流失分析，可能会存在以下问题：
- 无法提供每一个时刻流失发生的概率
- 很难具有预测性
- 多个产品/A-B testing时很难互相做出定量比较。
而生存分析本身就会对以上三个内容做出预测，此外，对Customer Lifetime Value能提出一些更有价值的洞识。
但本文试图扩展生存分析的试用范围，任何具有触发时间特征的事件，都可以采用生存分析的方式做出分析，譬如：
- 用户留存
- 用户转化
- 用户点击
- ...
本文以常见的购买行为的转化为例，介绍生存分析的某些应用。
用户转化
代码以
jupyter notebook的形式放在 github这里。
前期构思
本实例是研究，用户从注册时开始，随时间变化其转化率会有何种变化，考虑届时提供一些运营策略。常规计算本任务转化率的方式是：
转化率 = # 转化用户数 / # 总用户数数
这个转化率往往很难提供更多的洞识，我们无法给出自动化运营可以介入的时间要素。而生存分析从本质上说，恰恰是研究一个发生事件的概率随时间发生的变化，在此项任务中，事件显然就是转化。基于这种思想，我们做出如下分析。
数据样例
生存分析需要以一个用户为单位，提取参与实验的时间(这里就是注册时间)，终止实验/end event发生时间(这里就是指数据采集的截止日期和用户发生转化的时间)，以及最后是否发生end event的标记。
因此我们采集了如下数据。其中sex，birth_year，province三个字段用以后面的分析，duration则是到事件发生时总共花费的时间，即test_last_time - signup_time。
| user_id | signup_time | end_time | test_last_time | buy_time | sex | birth_year | province | have_bought | duration | |
|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 513336 | 2017-10-30 21:58:04.323000 | 2017-10-30 22:03:54.430000 | 2018-06-01 00:00:00 | 2017-10-30 22:03:54.430000 | 女 | 1991 | 山东 | True | 0.00405216 |
| 1 | 513340 | 2017-10-30 22:14:35.853000 | 2017-10-30 22:45:10.243000 | 2018-06-01 00:00:00 | 2017-10-30 22:45:10.243000 | 男 | 1988 | 安徽 | True | 0.0212314 |
| 2 | 513353 | 2017-10-31 07:29:04.293000 | 2018-06-01 00:00:00 | 2018-06-01 00:00:00 | NaT | nan | nan | nan | False | 212.688 |
| 3 | 513370 | 2017-10-31 10:45:45.586000 | 2018-06-01 00:00:00 | 2018-06-01 00:00:00 | NaT | 女 | 1979 | 河南 | False | 212.552 |
| 4 | 513387 | 2017-10-31 13:00:32.360000 | 2017-10-31 13:09:38.100000 | 2018-06-01 00:00:00 | 2017-10-31 13:09:38.100000 | 女 | 1992 | 山东 | True | 0.00631644 |
分析转化率随注册后时间发生的变化
Python比较完整的支持生存分析的包是Liflines和scikit-survival。两者之间，对分析友好的方案是前者，我们在本博文中，也主要采用该模块进行分析。
from lifelines import NelsonAalenFitter, CoxPHFitter, KaplanMeierFitter
from lifelines.statistics import logrank_test首先，我们需要查看用户的未转化率（有点绕口），这直接可以用生存分析本身的定义来实现。
kmf = KaplanMeierFitter()
kmf.fit(df['duration'], event_observed=df['have_bought'], label='all')
kmf.plot()image-20180805225520337.png
显然，我们可以发现，在50天后，基本上变化不明显了，最初的50天内，用40%多的用户发生转化。当然，这一图示并不直观，我们可以用1 - 未转化率=转化率的方式来重新绘制转化率曲线。
(1 - kmf.survival_function_).plot()image-20180805230116015.png
显然，这张图已经可以参与到运营决策中取了，图中显示，用户会在前10天内转化，后期变化不在明显。但我们可以通过生存分析得到更多有意思的结论。
一个例子就是分析不同产品的生存曲线图来分析产品之间的好坏（在此不做示范），一个就是用户本身特征对转化的影响。在此，我们以性别为例，分析性别对用户更早决定购买产品/转化之间有何有何关系。
ax = subplot(111)
t = np.linspace(0, 50, 51)
kmf.fit(df[df['sex'] == '男']['duration'], event_observed=df[df['sex'] == '男']['have_bought'], timeline=t, label="male")
ax = kmf.plot(ax=ax)
kmf.fit(df[df['sex'] == '女']['duration'], event_observed=df[df['sex'] == '女']['have_bought'], timeline=t, label="female")
ax = kmf.plot(ax=ax)
plt.ylim(0,1)
plt.title("not buying rate between two gender");image-20180805230614522.png
ax = subplot(111)
t = np.linspace(0, 50, 51)
kmf.fit(df[df['sex'] == '男']['duration'], event_observed=df[df['sex'] == '男']['have_bought'], timeline=t, label="male")
ax = (1 - kmf.survival_function_).plot(ax=ax)
kmf.fit(df[df['sex'] == '女']['duration'], event_observed=df[df['sex'] == '女']['have_bought'], timeline=t, label="female")
ax = (1 - kmf.survival_function_).plot(ax=ax)
plt.ylim(0,1)
plt.title("conversion rate between two gender");image-20180805230718723.png
显然，我们从图中可以发现，女性更倾向于更快相信此产品，更早时间并且更多比例的发现转化。接下来，我们可以利用自带的log-rank test对两者是否差异显著做预测。
logrank_test(event_times_A=df[df['sex']=='男']['duration'], event_observed_A=df[df['sex']=='男']['duration'],
event_times_B=df[df['sex']=='女']['duration'], event_observed_B=df[df['sex']=='女']['duration'])显然，差异是显著的。
分析转化率的变化率
在此，我们使用Nelson Aslen方法分析转化率的变化率随时间的变化（即Hazard函数）。
naf = NelsonAalenFitter()
naf.fit(df['duration'], event_observed=df['have_bought'], timeline=t, label='all')
naf.plot_hazard(bandwidth=20)image-20180805231451494.png
图中可以看出，转化率的变化在前5天内略微提高，随后断崖式减少，大概在20天左右区域和缓。换用运营的术语，前五天内用户对产品的信任度略微增加，使得更有可能购买产品；但超过五天还没有购买意愿的人，购买发生的可能性随时间递减。
一个可能的运营策略就是在第5天做出一些行为，增加用户的购买意愿，从而达到提高用户的生命周期的总价值。
当然，我们如同上面板块一样，也不叫一下性别差异。
image-20180805231922162.png
显然，女性建立信任的速度更快，但是大致都是以5天为界，在5天时没有发生购买行为，后期发生的概率会越来越小。
生存分析的回归分析
在此，我们还介绍一种对于不同变量对生存曲线影响的分析方法，并可以作为预测用户是否可能发生转化的模型——Cox PH模型。其基本假设是：
$\lambda (t, X) = \lambda_0(t) exp(\beta X)$
即假设待研究的变量不影响到生存模型的形状，而形状只有独立的$$\lambda_0(t)$$决定（即只和时间有关）。对此，我们需要对变量进行形状上的验证来判断该模型的有效性。在此我们只做性别和用户年龄的回归分析。
上面已经验证过性别的转化率的形状，我们使用双对数绘制对年龄（出生年）的影响。
kmf0 = KaplanMeierFitter()
kmf0.fit(cph_train_df[cph_train_df['birth_year'] == 1960]['duration'], event_observed=cph_train_df[cph_train_df['birth_year'] == 1960]['have_bought'])
kmf1 = KaplanMeierFitter()
kmf1.fit(cph_train_df[cph_train_df['birth_year'] == 1970]['duration'], event_observed=cph_train_df[cph_train_df['birth_year'] == 1970]['have_bought'])
fig, axes = plt.subplots()
kmf0.plot_loglogs(ax=axes)
kmf1.plot_loglogs(ax=axes)
axes.legend(['1960', '1970'])
plt.show()image-20180805233353267.png
结果不是很符合预设，但由于演示需要，假设数据符合我们的假定，而且我们仅做线性模型。
cph = CoxPHFitter()
cph.fit(cph_train_df, duration_col='duration', event_col='have_bought', show_progress=True)
cph.print_summary()n=10000, number of events=7683
coef exp(coef) se(coef) z p lower 0.95 upper 0.95
birth_year -0.0084 0.9916 0.0010 -8.7945 0.0000 -0.0103 -0.0066 ***
sex -0.1676 0.8457 0.0241 -6.9492 0.0000 -0.2149 -0.1203 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Concordance = 0.528
Likelihood ratio test = 124.891 on 2 df, p=0.00000我们可以发现，sex影响的项更大，参数都是显著的。之后，我们就可以用cph的相关函数对数据进行预测。我们在此用plot_covariate_group函数来展示不同属性的影响：
cph.plot_covariate_groups('birth_year', [1960, 1970, 1980, 1990])
cph.plot_covariate_groups('sex', [0, 1])image-20180805234322978.png
image-20180805234340974.png
显然，年龄越大、性别为女性越容易信任平台，更早的做出购买行为。
结语
这里，我们用生存分析解决并使用在用户行为分析中。给出更多可能有助于运营以及理解用户画像的洞识结论。
References and Recommending Reading List
- Tristan Boudreault | Survival analysis for conversion rates
- Playtime Measurement with Survival Analysis https://arxiv.org/pdf/1701.02359
- Using Survival Analysis to Predict Sample Retention Rates https://www.bls.gov/ore/pdf/st060060.pdf
- Lifelines doc | readthedocs.io
- scikit-survival | github