风控系统,Flink+Clickhouse实现!

599元特惠价 原价 1899元 的

《互联网大厂的企业级风控系统项目实战》

=== 课程介绍 ===

| SparkStreaming 企业级项目实战-金融风控

风控的的风控等级,在实际项目中分为警告和风险两个等级。当达到风险等级时,会触发发短信给用户进行提醒的机制。

  • 基于用户登录和操作的规则业务讲解

  • 业务流程开发

  • SparkStreaming 整合 0.8 kafka 如何在生产环境解决数据不丢失

  • SparkStreaming 整合 kafka0.10+如何在生产环境解决数据不丢失

  • 面试专题:如何整合到简历,话术整理

| 项目迭代

基于 Flink 实现风控逻辑,业务描述,数据源介绍,准备数据源(行为数据, 画像数据),第 1 版需求实现,登录规则处理和手机号修改事件处理

| 架构优化

封装规则处理逻辑,代码优化查询服务类模块抽取,画像数据结构定义,每日 2000+亿条数据如何优化传输效率

  • 双流 Join 的替代方案剖析画像匹配服务模块实现及测试,动态条件封装

  • 用户标签特征数据画像系统对接

  • 用户画像概念、项目概述及平台测试,数据源准备

  • 用户基础数据模型开发,标签构建

  • 规则匹配标签模型开发

  • 规则匹配标签模型开发

  • 搜索标签模型开发

  • 挖掘标签算法模型构建

  • 画像标签索引、分类推荐及多数据源整合

  • 第 2 版迭代,步骤匹配逻辑算法改进,状态存储大量数据引发的问题及解决思路,使用 clickhouse 解决事件数据存储

  • ClickHouse 表引擎定义整合 kafka,ClickHouse 集成 kafka 数据,ClickHouse 查询服务 SQL 实现,查询服务实现接口设计

  • 第 3 版核心逻辑优化,时间跨度数据利用 FlinkState 和 clickhouse 存储的优缺点问题,查询路由模块架构设计,模块封装

  • 双路合并查询服务实现,第 3 版方案存储的性能问题分析,引入缓存解决 clickhouse的并发压力

  • 缓存系统的技术选型 hbase_VS_redis_VS_State 的比较,缓存数据模型设计,缓存模块核心逻辑设计

  • 查询时间分界点设计,用户画像缓存设计有效性,规则缓存模块开发,缓存模块测试。

  • 规则无法动态匹配的弊端,如何设计动态规则,风控规则管理升级为动态配置

  • flink 整合 drools 实现规则动态管理,drools 模板引擎的基本实践,语法解析。

  • Flink 整合 Canal 设计,DRL 文件输入 kafka,通过 canal 监听到 mysql 中的规则字符串来实现定义,FlinkCDC 方案引入,FLinkCDC 的优势

  • 规则匹配核心逻辑设计,规则参数实体设计,规则匹配整体流程设计,核心计算router 设计,双路查询机制设计

  • Flink 动态加载规则,Drools 规则存储表设计,规则管理需求明确,规则 state 存储设计

  • 规则管理处理器开发,Flink 调用动态规则的核心函数开发

  • 动态规则 DRL 代码开发,整体结构设计,Sql 代码开发

  • DRL 及 SQL 模板引擎设计开发,风控系统监控分析模块设计开发,规则动态注入的实现全流程设计

  • 规则匹配模块在线升级,联调测试,项目查询核心服务的动态编译加载思路

  • 基于模型的风控场景需求讲解

  • 特征工程之特征选取

  • 特征工程之特征实现

  • 模型预测算法实现

| 解决方案

  • end-to-end 数据强顺序性解决方案:分析 flink 数据流转过程中的消息顺序性如何保证,分析哪些场景下因为重试可能导致数据丢失数据顺序性,分析消息顺序计算的解决方案

  • end-to-end exactly once 解决方案:分析 flink 的 exactly once 计算一次且仅一次的语义是如何保证的。剖析 flink 底层 exactly once 原理

  • late arrive 自动纠错解决方案:分析实时计算中,当日部分数据未到达计算,次日late arrive 延迟到达后,如何自动完成纠错计算

  • 企业级数据监控与离线数据纠错解决方案:分析如何对数据源头开发一套离线计算链路,T+1离线计算后的结果跟实时计算结果进行比对,如果离线检测发现异常,进行离线纠错补偿

  • flink 计算节点崩溃后如何自动恢复、redis 高可用架构设计、redis 集群崩溃后的flink 原生缓存降级方案、clickhouse 高可用架构、clikchouse 崩溃后的降级计算方案

| 面试专题:项目如何写简历,表达话术等

风控系统,Flink+Clickhouse实现!_第1张图片

=== 课程内容 ===

(*以下仅为部分课程内容展示,详细大纲查看文章末尾)

FlinkSQL流批一体化处理

风控系统,Flink+Clickhouse实现!_第2张图片

=== 讲师介绍 ===

  • 多年一线互联网大厂架构经验,主导设计和开发过多个大型互联网项目

  • 输出大量原创技术干货文章,全网阅读量万+

=== 课程收获 ===

  • 风控项目需求分析与详细设计

  • 基于Flink和Clickhouse实现用户画像功能

  • Flink节点崩溃、缓存降级等生产级故障分析

=== 课程福利 ===

福利一

为了让更多同学学到赚到,互联网大厂的企业级风控系统项目实战课程只需 599,巨划算 ! 大家可以扫码抢购,先到先得 !

风控系统,Flink+Clickhouse实现!_第3张图片

福利二

没有秒杀到互联网大厂的企业级风控系统项目实战课程的同学,可以参与该课程的拼团活动,两人拼团仅需 579,三人拼团仅需 559

=== 课程大纲 ===

滚动查看更多

===  课程入口 ===

长按扫描下方二维码,直达课程专栏

风控系统,Flink+Clickhouse实现!_第4张图片

* 秒杀须知:

1.  儒猿架构班已经购买过该课程的同学,无须重复购买

2.  购买后在深造播放器观看(防盗),支持PC端和手机端

你可能感兴趣的:(大数据,java,python,编程语言,人工智能)