学习笔记Hive（九）—— 实例：航空客户价值分析数据预处理

一、背景与目标

1.1、背景

1.、行业内竞争
民航的竞争除了三大航空公司之间的竞争之外，还将加入新崛起的各类小型航空公司、民营航空公司，甚至国外航空巨头。航空产品生产过剩，产品同质化特征愈加明显，于是航空公司从价格、服务间的竞争逐渐转向对客户的竞争。

2.、行业外竞争
随着高铁、动车等铁路运输的兴建，航空公司受到巨大冲击。

客户营销战略倡导者Jay & Adam Curry从国外数百家公司进行了客户营销实施的经验中提炼了如下经验：

• 公司收入的80%来自顶端的20%的客户。
• 20%的客户其利润率100%。
• 90%以上的收入来自现有客户。
• 大部分的营销预算经常被用在非现有客户上。
• 5%至30%的客户在客户金字塔中具有升级潜力。
• 客户金字塔中客户升级2%，意味着销售收入增加10%，利润增加50%。

这些经验也许并不完全准确，但是它揭示了新时代客户分化的趋势，也说明了对客户价值分析的迫切性和必要性。

---

1.2、目标

航空公司数据特征说明

目前航空公司已积累了大量的会员档案信息和其乘坐航班记录。

以2014-03-31为结束时间，选取宽度为两年的时间段作为分析观测窗口，抽取观测窗口内有乘机记录的所有客户的详细数据形成历史数据，44个特征，总共62988条记录。数据特征及其说明如表所示。

结合目前航空公司的数据情况，可以实现以下目标：

1. 借助航空公司客户数据，对客户进行分类。
2. 对不同的客户类别进行特征分析，比较不同类别客户的客户价值。
3. 对不同价值的客户类别提供个性化服务，制定相应的营销策略。

---

二、数据预处理

航空公司客户原始数据存在少量的缺失值和异常值，需要清洗后才能用于分析。

通过对数据观察发现原始数据中存在票价为空值，票价最小值为0，折扣率最小值为0，总飞行公里数大于0的记录。

• 票价为空值的数据可能是客户不存在乘机记录造成。

处理方法：丢弃票价为空的记录。

• 其他的数据可能是客户乘坐0折机票或者积分兑换造成。由于原始数据量大，这类数据所占比例较小，对于问题影响不大，因此对其进行丢弃处理。

处理方法：丢弃票价为0，平均折扣率不为0，总飞行公里数大于0的记录。

2.1、任务步骤

准备：创建air数据库

1、创建表air_data_base
2、导入数据到air_data_base表

3、丢弃票价为空的记录，将结果存储到sum_yr_1_not_null表

4、丢弃平均折扣率为0.0的记录，将结果存储到avg_discount_not_0表

5、丢弃票价为0、平均折扣率不为0、总飞行公里数大于0的记录，将结果存储到sum_0_seg_avg_not_0表

---

三、特征构造

原始数据中包含40多个特征，利用这些特征做些什么呢？我们又该从哪些角度出发呢？

3.1、常用客户价值分类模型

3.1.1、RFM模型介绍

本项目的目标是客户价值分析，即通过航空公司客户数据识别不同价值的客户，识别客户价值应用最广泛的模型是RFM模型。

• R（Recency）指的是最近一次消费时间与截止时间的间隔。
• F（Frequency）指顾客在某段时间内所消费的次数。
• M（Monetary）指顾客在某段时间内所消费的金额

---

3.1.2、RFM模型结果解读

RFM模型包括三个特征，使用三维坐标系进行展示，如图所示。

• X轴表示Recency，
• Y轴表示Frequency，
• Z轴表示Monetary，

每个轴一般会分成5级表示程度，1为最小，5为最大。

---

3.1.3、传统RFM模型在航空行业的缺陷

在RFM模型中，消费金额表示在一段时间内，客户购买该企业产品金额的总和，由于航空票价受到运输距离，舱位等级等多种因素影响，同样消费金额的不同旅客对航空公司的价值是不同的，因此这个特征并不适合用于航空公司的客户价值分析。

---

3.1.4、航空客户价值分析的LRFMC模型

本项目选择客户在一定时间内累积的飞行里程M和客户在一定时间内乘坐舱位所对应的折扣系数的平均值C两个特征代替消费金额。此外，航空公司会员入会时间的长短在一定程度上能够影响客户价值，所以在模型中增加客户关系长度L，作为区分客户的另一特征。
本项目将客户关系长度L，消费时间间隔R，消费频率F，飞行里程M和折扣系数的平均值C作为航空公司识别客户价值的关键特征（如表 3 2所示），记为LRFMC模型。

---

3.2、任务步骤

• 从数据清洗结果中选择6个属性： FFP_DATE、LOAD_TIME、FLIGHT_COUNT、AVG_DISCOUNT、SEG_KM_SUM、LAST_TO_END，形成数据集，存储到flfasl表中
• 构造LRFMC 5个指标，并将结果存储到lrfmc表中：

1、会员入会时间距离观测窗口结束的月数=观测窗口的结束时间-入会时间 [单位：月]

L = LOAD_TIME - FFP_DATE

2、客户最近一次乘坐公司飞机距观测窗口结束的月数 = 最后一次乘机时间至观察窗口末端时长[单位：月]

R = LAST_TO_END

3、客户在观测窗口内乘坐公司飞机的次数 = 观测窗口的飞行次数 [单位：次]

F = FLIGHT_COUNT

4、客户在观测时间内在公司累计的飞行里程 = 观测窗口总飞行公里数 [单位：公里]

M = SEG_KM_SUM

5、客户在观测时间内乘坐舱位所对应的折扣系数的平均值 = 平均折扣率 [单位：无]

C = AVG_DISCOUNT

---

建表：

构建5个指标：

结果查看：