大数据应用

大数据应用

随着web4.0时代的到来，数据将成为企业的最大资产。运营商所含有的数据是不可限量的，同时其带来的价值也是无法估量的。充分利用运营商的数据以及互联网大数据技术，能够为企业带来意想不到的效果。

 

1.应用

 

    对内：网络优化、异常检测、大数据报表、用户轨迹、协同警方监控及判案、智慧城市

对外：用户画像、客户细分、精准营销、追踪用户、产品推荐

 

1.1对内

 

1).网络优化：

方案：通过分析用户行为日志，统计哪一时间段用户流量高峰，进行早期预测，合理分配流量，从而使资源利用最大化。

2).异常检测（用户信用、机器节点监测/预测）：分类、预测

方案：通过对用户的信用数据以及用户的消费日志，使用朴素贝叶斯或逻辑回归模型进行分类计算，从而预测出不良用户，此时，我们可以对这类低信誉用户加以防范或采取限购措施。对机器进行异常检测，通过统计分析机器运行日志，使用逻辑回归模型或SVM模型进行二值分类计算（正常、异常），从而提前预测故障机器，不必等机器真正宕机后进行修复操作。

3).大数据报表：日志统计

方案：对流量日志及用户的定位日志进行统计分析，按季度产出用户流量报告，类似滴滴出行报告、高德地图城市交通分析/交通拥堵报告。同时对用户的行为日志、公司的业绩日志及相关日志进行关联分析生成大数据报表，充分利用大数据报表可令决策者更清晰了解公司走向，及时制定相应决策，令决策者更有效地管理公司。

4).用户移动轨迹：位置定位、定位信息

方案：统计分析用户行为数据，识别出其常住地，以及通过点位数据将用户的行为轨迹打印出来。例如，通过用户在哪儿经常打电话，可以识别出其常驻地，判断家、工作单位、以及其他常驻地。例如，通过分析用户的地理位置，构建模型，使用逻辑回归模型，预测用户五一期间去迪士尼旅游的概率，及用户出行的概率。

5).协同警方监控及判案：

方案：利用通话记录及移动规矩定位罪犯常驻点，同时构建模型预测罪犯活动地点。

6).智慧城市：日志分析、流量监控

方案：利用用户移动轨迹，可以识别人口流量走势，制定相应流量疏导及交通方案。

1.2对外

1).用户画像：统计

方案：收集数据，ETL数据预处理，模型计算，给用户打标签，以及对标签进行组合；利用用户行为数据计算用户画像。将用户所有的标签综合起来，勾勒出该用户的整体特征与轮廓。可充分构建用户的全量数据，并将数据打通，形成拓扑关联。

例如：用户画像数据主要包括五大部分：基础数据、终端数据、消费数据、活跃数据、单一用户画像的数据。

注：

1、 用户画像要建立在真实的数据之上；
2、 当有多个用户画像的时候,需要考虑用户画像的优先级,通常建议不能为超过三个以上的persona 设计产品,这样容易产生需求冲突；

3、 用户画像是处在不断修正中的。

2).客户细分：聚类

方案：利用运营商客户消费数据及其订单数据，使用机器学习中的聚类算法，可将用户数据聚类为多个簇，而每一簇代表一类用户，我们变可以有针对性的对这类用户投放相应的产品。例如：我们可将用户细分为A、B、C，分别代表VIP用户、普通用户、游客用户，因此我们可以有针对性地对他们投放个性化产品，令资源最优分配。

3).精准营销、个性化营销：统计+聚类+分析

方案：通过对检索日志进行统计分析，了解用户的潜在需求，实现针对用户需求的广告进行精准投放。利用之前做好的用户画像实现精准营销。

4).追踪用户：预测、召回

通过逻辑回归模型对用户进行预测，识别哪些用户是忠实用户，哪些用户将要离开，对将要离开的用户制定策略进行召回，同时对忠实用户给予优惠以防止竞争者将用户拉走，并充分利用忠实用户，以该用户为中心点带动其周边人群使用产品，此时需借助相似度计算方法，计算出其周边用户并给予相应引导令其加入。

5).产品推荐、个性化营销：推荐算法、关联算法/规则

利用用户行为数据计算出用户画像，结合关联规则及推荐算法（这里主要使用协同过滤算法，因为主要涉及用户及其周边人群）对用户进行个性化推荐；联合常驻位置信息，有针对性服务推荐，在不同位置给予不同的信息推送，此时需借助客户细分及用户移动轨迹。

当前的推荐算法大都基于数据挖掘技术,通过对大量的用户行为数据进行分析及挖掘来发现相关的用户行为模式。

2.系统架构

 

系统的整体架构如下图1所示。

图1系统架构

 

实现步骤：

1.数据采集：采集多维数据抽取数据结构，使用Hadoop构建全量数据集；

2.数据预处理：基于采集回来的多维度数据，采用ETL方法对其各类数据进行结构化处理及加载，构建数据特征；

3.数据存储对于ETL处理后的标准化结构数据，建立数据存储管理子系统，归集到底层数据仓库(Hive)，这一步很关键，基于数据仓库，对其内部数据分解成基础的同类数据集市；

4.数据建模：基于归集分解的不同数据集市，利用各类算法对数据集进行数据建模以及相应的算法设计；

5.模型计算：使用构建好的模型对数据预处理后的特征数据进行计算；

6.数据展现：最后根据建立的各类数据模型及算法，结合前端不同渠道不同业务特征，根据渠道触点自动匹配后端模型自动展现用户个性化产品和服务。