FFA 2021 专场解读 - 行业实践

▼ 关注「ApacheFlink」视频号，遇见更多大咖 ▼

(注：工商银行的议题在主会场，详情可进官网了解)

12 月 4-5 日，Flink Forward Asia 2021 重磅开启，全球 40+ 多行业一线厂商，80+ 干货议题，带来专属于开发者的技术盛宴。

其中，行业实践专场由字节跳动、网易、蔚来、中原银行、建信金融科技、中信建投等多行业实时计算领域专家详细解读 Flink 在业内的应用与落地，围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。

▼ 扫码了解完整大会议程 ▼

（大会官网）

中原银行实时风控体系建设实践

陈玉强｜中原银行数据平台中心开发工程师

本次演讲将分享中原银行在实时风控领域中自主化探索与实践，包括以下方面：

1. 介绍风控发展方向；

2. 实时数据处理技术选型 - Flink；

3. 整体技术架构：Flink + 智策 + 天机 + 数据服务的技术融合方案；

4. 实施场景 1：申请与交易反欺诈；

5. 实施场景 2：授信审批场景；

6. 实时风控体系建设成效；

7. 业务效果。

Flink 在国有大型银行

智能运营场景下的应用

周耀｜建信金融科技开发工程师，Apache Superset Contributor，Apache Kylin Contributor

现代的应用大都以前后端分离的模式开发，在建设银行新一代系统中每笔交易对应三条消息：前端的埋点信息，发送的 HTTP 请求，返回的 HTTP 响应。建设银行在全球有大量的网点和业务员，每天产生大量的金融业务交易，包含海量的消息报文，其中包含：运营配送，现金配送，信用卡审批等几百种应用场景。

而金融业务以复杂，稳定，要求高为特性，在银行业尤其如此。本次 proposal 将根据集约化运营团队使用流计算框架 Flink 的经验，围绕如何引入有状态流计算稳定，及时，高效的将埋点，请求，响应三条消息进行业务加工，合并，向后传递给应用消费，最终产生业务价值。向大家展示流计算架构在银行运营大数据中的演化过程，应对方案，及走过的弯路。希望能对金融企业使用流计算提供参考和借鉴。

Flink 流处理

在中信建投证券的实践与应用

刘成龙｜中信建投证券金融实时数仓项目负责人，大数据研发工程师

蔡跃｜中信建投证券金融资讯数据研发工程师

1. 证券行业实时计算意义；

2. 实时流处理平台整体建设方案。元数据管理、数据采集、数据实时开发、数据网关、数据运营；

3. 现阶段应用场景介绍。助力基金投顾、实时零售业务；实时交易流水、资讯数据查询；内部链路实时 ETL；

4. 场景：金融资讯数据多源实时校验。针对金融业内特有且普遍遇到的多来源资讯数据缺乏一致性校验问题，介绍中信建投实时校验解决方案；

5. 基于 Hologres 的流批一体实践。

Flink 在众安金融

的风控特征工程应用

郭育波｜众安保险大数据平台开发高级专家

众安金融的风控体系有风控反欺诈、风控决策引擎、风控特征工程，征信数据中心等平台组成，总所周知，金融风控的能力决定了公司的盈利水平，而特征工程为风控的决策提供了核心的数据支撑。

我们的特征工程提供三方数据特征，信贷数据特征，征信数据特征，反欺诈数据特征，在这些特征之上还有机器学习模型特征，从全方位的数据来源为风控提供决策依据。

金融业务对于数据的实时性，准确性，稳定性都有很高的要求，经过我们的调研下来使用 Flink 作为实时计算引擎，HBase 作为特征数据存储方案。

这个方案上线后了，也取得了很好的效果，通过 Flink 的实时计算能力保证了特征的实时性，之后为了提高稳定性把 HBase 升级为了阿里云的 Tablestore，减少了 HBase 运维的风险。

后面我们又从 Flink api 修改为 Flink SQL，大大的提高了实时任务的开发效率，同时基于 Flink SQL 我们实现了实时数仓，支撑了各类的实时标签，实时大盘，实时报表的业务场景。

最近我们结合 Flink 和 nebula graph 实现了实时关系图谱，通过 Flink接入用户端的各种数据构建用户数据关系图谱，建立了用户，联系人，手机，设备指纹的用户关系图谱网络，基于图数据计算的相邻边关系、社群发现算法加工出了相关的数据特征，为金融反欺诈提供了实时的特征数据支持。

Flink 在能源建设的实践

姚远｜中南电力设计院工程师、注册测绘师

全文从三个方面进行介绍：建设背景，实现落地以及未来规划。

建设背景：EPC 项目建设的电厂，变电站等工地的传感器，人员数据等不断累计，希望分析安全隐患，预防事故发生。在矿山资源开采过程中，希望结合车辆定位，过磅等数据优化运营分析，提高开采及运输效率。基于以上场景，考虑到数据量及分析的需求，决定采用大数据的方案进行处理。作为非互联网的传统工业企业，没有大数据积累，分析对比之后选择 Flink 作为大数据处理平台。

实施落地：

• 例 1，在公司的矿山开采过程中，如何合理设置矿山的磅站位置，每天到场多少辆车进行运输合适，结合车辆定位和磅站数据进行实时分析，监督矿石的开采运输及现场实际情况的维护，保证开采、运输及过站正常运作。

• 例 2，电厂现场安置在线监测设备，包括倾角、光纤光栅、GPS 等传感器，利用监测设备对现场变形情况进行监测，防患安全事故发生。

未来规划： 建立整体分析模型，对工地实时数据进行处理；将 GPS 解算过程在 Flink 流上重写，提高反应时间。针对历史数据，挖掘分析价值。

Apache Flink 在蔚来汽车的应用

吴江｜蔚来汽车大数据部门数据开发，OLAP 平台 tech lead

1. 流式计算在蔚来的发展。最开始基于 Spark Streaming 做一些简单的实时处理 -> 开始引入 Flink -> 采用命令行式的 Flink 任务部署和管理 -> 开发实时数据开发平台 1.0 版本 (支持基于 Flink jar 的任务提交与管理) -> 正在开发实时数据开发平台 2.0 版本 (在 1.0 的基础上，增加 Flink SQL 以及 UDF 管理，并且支持 kerberos 认证等)；

2. Flink 的具体应用场景

• 实时数仓及 OLAP 平台：目前我们构建实时数仓还处在比较初始的阶段，正在逐步构建过程中。我们已经在一些项目比如 nio app 的埋点分析中，对流式的数据做了分层，来逐渐沉淀经常使用的公共数据，增加数据的复用。实时数仓还要提供 OLAP 的能力，为了充分发挥实时的能力，会将 Flink 和 Doris 结合，从而能够提供更加灵活完善的平台化的 OLAP 能力；

• 电池安全：由于蔚来的可换电模式，电池数量是大于车的数量，电池状态数据的实时获取/处理，对电池安全至关重要。这块主要讲 Flink 怎么助力提升电池安全；

• 实时看板：看板展示包括实时和离线数据，主要统计和展示用户相关的触点和行为信息。实时和离线数据底层统一用 Apache Doris 进行数据摄入/存储和查询。其中各种实时指标还会直接推给前端，对于复杂的实时指标计算 (比如前端动态选择计算多个城市下的实时 UV)，采取了一种新颖的解决方案，会以 Flink 计算引擎为核心驱动，结合前端一起参与计算，实现从端到端 (Kafka -> Flink -> 前端) 的全链路流式计算；

• cdp (客户数据平台)：

  • 用户画像 & 圈人：依托 Flink 的实时计算和处理，以及 Apache Doris 的实时摄入和快速查询的能力，提供用户标签/用户分群数据的实时获取能力；

  • 运营平台：运营平台对选定的人群发送 IM 消息，短信，发放积分卡券等，对于系统的可靠性和数据一致性要求很高 (发送消息要尽量做到不丢不重)。在这个典型的属于后台服务的场景下，Flink 依旧发挥了至关重要的作用。由于发送 im 消息和短信，本身不具备 rollback 能力，我们参照传统的两阶段提交协议，设计了特殊的分布式事务恢复机制，利用 Flink 实时回放 redo log，保证各个 task 之间的状态最终一致性；

• 跨业务系统数据实时聚合：连接，打通，和汇聚不同业务的数据；

• 实时监控和告警：利用训练好的机器学习模型，实时提供指标的异常检测和告警。

未来的计划。继续平台化建设，对于问题解决的方案，回馈社区。

Flink 在字节跳动数据流的实践

刘石伟｜字节跳动数据平台数据流技术负责人

数据流是字节跳动所有流量数据的入口，承担着流量数据的接入、ETL、分发、治理等重要职责。Flink 作为当下最流行的流式计算框架被广泛应用于数据流的各个环节，本次分享将介绍字节跳动数据流在 Flink 应用实践中遇到的挑战以及相关优化。

1. 业务场景和遇到的问题

• 整体架构；

• 遇到的挑战 / 问题；

• 流量大，下游多，稳定性要求高；

• 业务变化快，业务逻辑修改频率高；

• 部分场景要求更低的端到端延时；

• 批流两套处理链路。

1. 基于动态规则的 Flink ETL

• 推荐场景；

• ETL 分流场景。

1. 数据治理 & SLA 指标建设

• 稳定性治理；

• 拆分任务；

• 链路分级，埋点管控；

• 数据延迟/丢失率/重复率 SLA 指标。

1. 未来展望

• 流批一体；

• 规则引擎性能优化。

网易游戏基于 Flink 的

支付环境全关联分析实践

林佳｜网易互娱技术中心计费实时平台与 SDK 技术负责人，Apache Flink Contributor

本次演讲将介绍网易游戏技术中心使用 Flink 的历程、分享使用现状与实践经验。以技术中心的核心业务 “计费支付” 为实例，讨论如何基于 Flink 这一高效可靠的引擎，通过 SDK 化加平台化的模块式封装，实现出异构数据聚合分析、微观支付链路串联跟踪、用户指标湖等实时数据服务，全方位关联起整个支付环境上的实时数据，进而迅速发现支付环境中的风险与机遇、指导优化方向、提升支付环境的服务质量，并挖掘出前所未有的高时效性数据价值。

Apache Flink 在斗鱼的应用与实践

夏畅｜斗鱼实时计算负责人

1. 公司背景介绍；

1. 实时场景分析；

1. 实时平台化建设

• 整体架构设计；

• 作业引擎实现；

• HIVE 元数据 & UDF 注入；

• 实时调试；

• SLA 保障；

• 实时元数据 & 全链路血缘；

1. 实时数仓探索。

特来电云平台智能运维应用实践

刘桂海｜特来电平台智能保障团队技术负责人

1. 特来电云平台简介：新能源充电行业海量高并发互联网网技术架构；

1. 特来电云平台智能运维简介：基于 AIOps 的智能监控、智能分析、智能控制；

2. Flink 在特来电云平台智能运维的应用场景

• 指标分析：基于 Flink 的海量高并发的监控引擎；

• 链路分析：基于 Flink 及图数据库的服务链路调用知识图谱、用户行为分析知识图谱；

• 日志分析：基于 Flink 及自然语言处理的异常信息聚类分析、异常日志突变分析；

1. Flink 在特来电云平台智能运维的未来计划：机器学习迁移到 Alink、基于 K8s 运行 Flink。

作业帮基于 Flink 的实时计算平台实践

张迎｜作业帮实时计算平台负责人

在作业帮实时计算演进过程中，Flink 起到了重要的作用，特别是借助于 FlinkSQL 极大的提高了实时任务的开发效率。本次演讲主要分享 FlinkSQL 在作业帮的使用情况、实践经验，以及随着任务规模增长，在从 0 到 1 搭建实时计算平台的过程中遇到的问题及解决方案。

1. 业务背景；

1. 发展历程；

1. 解决方案；

1. 总结展望。

Flink 在易车落地应用与实践

王林红｜易车数据平台负责人

Flink 在易车实时数仓、实时数据集成、湖仓一体等方面有很广泛的应用实践，尤其是满足实时大屏、实时流量分析及实时大促等应用场景。

本次分享主要介绍 Flink 在易车相关应用的落地实践及经验分享

1. Flink 实时计算平台建设：数据集成、元数据管理、数据血缘、数据实时开发、监控优化等；

2. Flink 在实时数仓、批流一体方面的应用实践；

3. Flink + Hudi 应用实践。

如何设计信息安全领域的

实时安全基线引擎

覃永靖｜奇安信集团技术委员会委员、高级技术专家、NGSOC 事业部安全引擎团队架构师

在互联网时代，安全已经成为企业的命脉。奇安信集团作为国内网络安全领军企业，需要与业界同步，使用各种先进技术来保障客户业务安全。本演讲主要介绍了奇安信集团在打造自研的基于 Flink 的实时安全分析引擎 Sabre 的过程中，对于安全基线的设计和实现过程中遇到的挑战以及对应的解决方案，并分享了很多踩过的坑，同时还有一些思考和总结。希望对从事安全领域相关工作的同学能够有所启发或者帮助。内容包括：

1. 什么是安全基线，介绍安全基线中基于特征和基于行为的两种检测模型，介绍相关安全场景，以及安全领域的四个主要约束，异常检测，受限的资源状态，实时分析和非实时的区别，快速响应的必要性；

1. 实时框架的选择，为何采用 Flink 框架而不是 Spark 框架；

1. 实时安全基线的设计和实现。

---

以上为 Flink Forward Asia 2021 行业实践专场内容节选，了解更多大会详情可扫描下方二维码。

Flink Forward Asia 2021 赞助与合作

---

首届 Flink Forward Asia Hackathon 正式启动，10W 奖金等你来！

欢迎进入赛事官网了解详情：

https://www.aliyun.com/page-source//tianchi/promotion/FlinkForwardAsiaHackathon

更多 Flink 相关技术问题，可扫码加入社区钉钉交流群～

▼ 关注「Flink 中文社区」，获取更多技术干货 ▼

   戳我，报名 FFA 2021 大会！