风控系统，Flink+Clickhouse实现！

599元特惠价 原价 1899元 的

《互联网大厂的企业级风控系统项目实战》

=== 课程介绍 ===

| SparkStreaming 企业级项目实战-金融风控

风控的的风控等级，在实际项目中分为警告和风险两个等级。当达到风险等级时，会触发发短信给用户进行提醒的机制。

• 基于用户登录和操作的规则业务讲解
  

• 业务流程开发

• SparkStreaming 整合 0.8 kafka 如何在生产环境解决数据不丢失

• SparkStreaming 整合 kafka0.10+如何在生产环境解决数据不丢失

• 面试专题：如何整合到简历，话术整理

| 项目迭代

基于 Flink 实现风控逻辑，业务描述，数据源介绍，准备数据源(行为数据， 画像数据)，第 1 版需求实现，登录规则处理和手机号修改事件处理

| 架构优化

封装规则处理逻辑，代码优化查询服务类模块抽取，画像数据结构定义，每日 2000+亿条数据如何优化传输效率

• 双流 Join 的替代方案剖析画像匹配服务模块实现及测试，动态条件封装

• 用户标签特征数据画像系统对接
  

• 用户画像概念、项目概述及平台测试，数据源准备
  

• 用户基础数据模型开发，标签构建
  

• 规则匹配标签模型开发

• 规则匹配标签模型开发

• 搜索标签模型开发

• 挖掘标签算法模型构建

• 画像标签索引、分类推荐及多数据源整合

• 第 2 版迭代，步骤匹配逻辑算法改进，状态存储大量数据引发的问题及解决思路，使用 clickhouse 解决事件数据存储

• ClickHouse 表引擎定义整合 kafka，ClickHouse 集成 kafka 数据，ClickHouse 查询服务 SQL 实现，查询服务实现接口设计

• 第 3 版核心逻辑优化，时间跨度数据利用 FlinkState 和 clickhouse 存储的优缺点问题，查询路由模块架构设计，模块封装

• 双路合并查询服务实现，第 3 版方案存储的性能问题分析，引入缓存解决 clickhouse的并发压力

• 缓存系统的技术选型 hbase_VS_redis_VS_State 的比较，缓存数据模型设计，缓存模块核心逻辑设计

• 查询时间分界点设计，用户画像缓存设计有效性，规则缓存模块开发，缓存模块测试。

• 规则无法动态匹配的弊端，如何设计动态规则，风控规则管理升级为动态配置

• flink 整合 drools 实现规则动态管理，drools 模板引擎的基本实践，语法解析。

• Flink 整合 Canal 设计，DRL 文件输入 kafka，通过 canal 监听到 mysql 中的规则字符串来实现定义，FlinkCDC 方案引入，FLinkCDC 的优势

• 规则匹配核心逻辑设计，规则参数实体设计，规则匹配整体流程设计，核心计算router 设计，双路查询机制设计

• Flink 动态加载规则，Drools 规则存储表设计，规则管理需求明确，规则 state 存储设计

• 规则管理处理器开发，Flink 调用动态规则的核心函数开发

• 动态规则 DRL 代码开发，整体结构设计，Sql 代码开发

• DRL 及 SQL 模板引擎设计开发，风控系统监控分析模块设计开发，规则动态注入的实现全流程设计

• 规则匹配模块在线升级，联调测试，项目查询核心服务的动态编译加载思路

• 基于模型的风控场景需求讲解

• 特征工程之特征选取

• 特征工程之特征实现

• 模型预测算法实现

| 解决方案

• end-to-end 数据强顺序性解决方案：分析 flink 数据流转过程中的消息顺序性如何保证，分析哪些场景下因为重试可能导致数据丢失数据顺序性，分析消息顺序计算的解决方案

• end-to-end exactly once 解决方案：分析 flink 的 exactly once 计算一次且仅一次的语义是如何保证的。剖析 flink 底层 exactly once 原理

• late arrive 自动纠错解决方案：分析实时计算中，当日部分数据未到达计算，次日late arrive 延迟到达后，如何自动完成纠错计算

• 企业级数据监控与离线数据纠错解决方案：分析如何对数据源头开发一套离线计算链路，T+1离线计算后的结果跟实时计算结果进行比对，如果离线检测发现异常，进行离线纠错补偿

• flink 计算节点崩溃后如何自动恢复、redis 高可用架构设计、redis 集群崩溃后的flink 原生缓存降级方案、clickhouse 高可用架构、clikchouse 崩溃后的降级计算方案

| 面试专题：项目如何写简历，表达话术等

=== 课程内容 ===

（*以下仅为部分课程内容展示，详细大纲查看文章末尾）

FlinkSQL流批一体化处理

=== 讲师介绍 ===

• 多年一线互联网大厂架构经验，主导设计和开发过多个大型互联网项目

• 输出大量原创技术干货文章，全网阅读量万+

=== 课程收获 ===

• 风控项目需求分析与详细设计

• 基于Flink和Clickhouse实现用户画像功能

• Flink节点崩溃、缓存降级等生产级故障分析

=== 课程福利 ===

福利一

为了让更多同学学到赚到，《互联网大厂的企业级风控系统项目实战》课程只需 599元，巨划算 ! 大家可以扫码抢购，先到先得 ！

福利二

没有秒杀到《互联网大厂的企业级风控系统项目实战》课程的同学，可以参与该课程的拼团活动，两人拼团仅需 579元，三人拼团仅需 559元。

=== 课程大纲 ===

滚动查看更多

===  课程入口 ===

长按扫描下方二维码，直达课程专栏

* 秒杀须知：

1.  儒猿架构班已经购买过该课程的同学，无须重复购买

2.  购买后在深造播放器观看（防盗），支持PC端和手机端