学习Apache Flink能用来做什么？

Apache Flink这么火,我们学完了可以用来做什么?

Apache Flink是近几年大火的数据处理引擎。受到各大厂商的推崇并且已经应用与实际的业务场景中。很多公司在进行选型的时候都会选择Apache Flink作为选型的对象。那么Apache Flink对于企业来说能够做什么？

在实际的生产过程中有大量的数据实时性分析需求，例如实时推荐，异常告警，传感器信令分析等需求。随着技术的不断发展对于实施指标的需求也越来越多，而且时效性要求越来越高。使用传统的技术方案等待数据落地后再进行分析那么就无法保证数据的时效性信息。所以在处理某些场景的业务时需要一个能够保证时效性又有能力处理大规模数据的数据引擎。那么Apache Flink是个非常好的选择。

实时推荐系统

随着数据爆炸时代的到来，数据由传统的主动检索到现在的推荐系统。推荐系统也由最初的电商平台使用到现在的各行各业基本都有涉及。电商平台、新闻资讯平台、广告联盟等都会采用实时推荐系统来为用户进行更加智能的推荐。
对于用户来说，基于用户的行为、用户信息等相关数据，实时的智能推荐能够起到信息过滤的作用，减少干扰。直接给予用户所需要的信息提升用户满意度。
对于商家来说，精准的进行用户营销能够提升销售额，增加客户满意度。

实时报表

相信所有人都参加过天猫双十一的活动，实时大屏是最近几年双十一的必备内容。大屏实时展示了当前的订单数量，成交金额等信息。
阿里使用Apache Flink做双十一大屏数据的分析、计算把计算结果直接推送到前端大屏。从落地数据的采集、校验、转换、关联分析、计算结果到展现数据的时间控制在秒级。
现在各个行业的公司也都会把实时报表增加到日常指标分析中，以增加对于当前时刻的状况分析。

实时数仓与ETL

通过与离线数仓的关联，利用实时计算引擎的能力对离线数仓的数据进行归并，补充等分析操作。另外基于实时计算的ETL能力，流式计算直接进行ETL数据分析，基于Apache Flink的有状态计算特性，降低离线数据的分析、调度等相关成本。更加高效的提供出所需的分析结果。

复杂事件处理

Apache Flink中包含一个特性CEP，全称是Complex event processing复杂事件处理。所谓复杂事件,就是不是个简单事件。在很多情况下最终产生的用户行为可能由于不同的上下文所关联的各个事件组合产生的。例如工业中我们事先定义某个检测异常。通过对于各个串联起来的模式事件进行匹配，进行最终触发报警检测等。
Apache Flink提供了CEP事件包，提供相关的规则引擎，同时支持SQL方式的转换。实现在流式系统中定义复杂事件。

实时欺诈与实时信用评估

在金融领域对于欺诈检测、信用评估都有较强的需求，在传统的解决方案中对于信用卡欺诈，黑产检测等采用的方案可能需要数小时甚至是数天才能进行分析。而当检测完成后不法分子可能已经完成了犯罪，对公司的财产造成了损失。同时当前对于网络放款，实时交易等场景越来越多，那么欺诈、黑产、用户信用评估的实时性要求也更高。而利用Apache Flink实现实时的异常订单检测、异常用户检测与用户信用评估等均能达到毫秒级秒级的异常分析。及时避免经济损失与加快用户的信用评估用于业务增长。

大数据安全监测

数据安全方向对于实时性的要求也越来越高，例如黑客攻击、异常网络流量分析、异常用户行为等。某些大数据安全场景利用公网出口流量进行分析，例如正常带宽为10Mb，如果突然增长到20甚至更高那么就会产生告警行为。基于某些常规指标+机器学习的方案实现对于异常行为的告警与阻断等。如果采用实时性较低的方案，异常结果的分析发生在数小时后，那么异常行为可能已经发生了。例如拖库攻击黑客已经获取到了相关的数据。利用实时计算引擎能够快速的检测到异常状况，对异常进行分析与阻断。

Apache Flink对于实时数据的处理分析能够覆盖较多的应用场景，可能某些场景我本身没有接触过，只是把我所了解过的场景输出给大家。如果有其他更多的场景，可以一起探讨交流。

 

更多有趣和专业的大数据相关文章，微信搜索  : 指尖数虫  或扫码关注