【大数据架构】基于大数据的消费信贷平台

金融的核心是风控,而好的风控依托于数据。作为依托于大数据驱动的信用消费金融平台的量化派,为了给信贷用户更准确的信用评级,对于每个信贷用户都会从多个渠道获取大量的有效数据,这些数据聚合起来也是海量数据规模。量化派对用户的信息整合不光包含了用户的画像(性别、职业、爱好等等),也包含了用户之间的关系。

旅游消费信贷业务简介

【大数据架构】基于大数据的消费信贷平台_第1张图片

在线旅游场景贷款

旅游消费信贷平台介绍

【大数据架构】基于大数据的消费信贷平台_第2张图片

平台介绍

【大数据架构】基于大数据的消费信贷平台_第3张图片

业务系统

【大数据架构】基于大数据的消费信贷平台_第4张图片

业务系统

【大数据架构】基于大数据的消费信贷平台_第5张图片

模型体系

【大数据架构】基于大数据的消费信贷平台_第6张图片

模型体系

【大数据架构】基于大数据的消费信贷平台_第7张图片

模型系统架构初版

【大数据架构】基于大数据的消费信贷平台_第8张图片

模型系统优化方案

【大数据架构】基于大数据的消费信贷平台_第9张图片

模型系统架构优化版

【大数据架构】基于大数据的消费信贷平台_第10张图片

实现效果

【大数据架构】基于大数据的消费信贷平台_第11张图片

系统全貌

【大数据架构】基于大数据的消费信贷平台_第12张图片

数据体系

【大数据架构】基于大数据的消费信贷平台_第13张图片

数据系统

0?wx_fmt=gif

旅游用户信用体系构建

【大数据架构】基于大数据的消费信贷平台_第14张图片

用户信用体系

【大数据架构】基于大数据的消费信贷平台_第15张图片

用户信用体系

【大数据架构】基于大数据的消费信贷平台_第16张图片




爱奇艺大数据平台的构建之路

人人懂点儿大数据 

其实当我们谈架构的时候,往往已经是在面对一个比较复杂的分布式系统,分布式系统有着CAP和BASE等经典理论,引申出高可用、可扩展、一致性、性能等特点,而衡量一个分布式系统的架构是否成功,则取决于业务需求,对于支付系统来说,一致性是最高标准,而相对于视频播放服务,高可用和性能则更为重要。对于大部分架构来说,最终一致性已经足够,而高可用和可扩展往往是互联网架构的首要考虑因素。

挑战

【大数据架构】基于大数据的消费信贷平台_第17张图片

爱奇艺大事记

【大数据架构】基于大数据的消费信贷平台_第18张图片

核心指标

【大数据架构】基于大数据的消费信贷平台_第19张图片

挑战

构建之路

【大数据架构】基于大数据的消费信贷平台_第20张图片

爱奇艺大数据应用

【大数据架构】基于大数据的消费信贷平台_第21张图片

1.0专业化

【大数据架构】基于大数据的消费信贷平台_第22张图片

1.0专业化

【大数据架构】基于大数据的消费信贷平台_第23张图片

调度调优

【大数据架构】基于大数据的消费信贷平台_第24张图片

2.0规模化

【大数据架构】基于大数据的消费信贷平台_第25张图片

2.0规模化

【大数据架构】基于大数据的消费信贷平台_第26张图片

Hadoop工作平台

【大数据架构】基于大数据的消费信贷平台_第27张图片

Yarn升级

【大数据架构】基于大数据的消费信贷平台_第28张图片

Spark

【大数据架构】基于大数据的消费信贷平台_第29张图片

Spark算法优化

【大数据架构】基于大数据的消费信贷平台_第30张图片

社区贡献

【大数据架构】基于大数据的消费信贷平台_第31张图片

社区贡献

【大数据架构】基于大数据的消费信贷平台_第32张图片

3.0生态化

【大数据架构】基于大数据的消费信贷平台_第33张图片

3.0生态化

【大数据架构】基于大数据的消费信贷平台_第34张图片

Impala

【大数据架构】基于大数据的消费信贷平台_第35张图片

Kylin

【大数据架构】基于大数据的消费信贷平台_第36张图片

Hadoop QoS

【大数据架构】基于大数据的消费信贷平台_第37张图片

Koala

【大数据架构】基于大数据的消费信贷平台_第38张图片

Koala

【大数据架构】基于大数据的消费信贷平台_第39张图片

Gear

【大数据架构】基于大数据的消费信贷平台_第40张图片

Venus

【大数据架构】基于大数据的消费信贷平台_第41张图片

Europa

【大数据架构】基于大数据的消费信贷平台_第42张图片

ESQL

【大数据架构】基于大数据的消费信贷平台_第43张图片

MySQL IO

【大数据架构】基于大数据的消费信贷平台_第44张图片

架构

案例

【大数据架构】基于大数据的消费信贷平台_第45张图片

风控系统

【大数据架构】基于大数据的消费信贷平台_第46张图片

风控系统

总结

【大数据架构】基于大数据的消费信贷平台_第47张图片




搜狐个性化视频推荐架构设计和实践

人人懂点儿大数据 

为什么要做推荐系统?视频的覆盖率问题,好的视频无法难以被人发现,随着用户的量的增加,大部分用户存在没有特殊明确的需求场景,需求解决也比较迫切,帮助用户发现对自己有价值的视频,让视频展示对他感兴趣的用户面前,实现消费者和内容生产者双赢。

推荐系统概述

【大数据架构】基于大数据的消费信贷平台_第48张图片

为什么要做推荐系统

【大数据架构】基于大数据的消费信贷平台_第49张图片

个性化推荐产品形态

【大数据架构】基于大数据的消费信贷平台_第50张图片

推荐系统整体概况

推荐系统架构

【大数据架构】基于大数据的消费信贷平台_第51张图片

推荐系统架构

【大数据架构】基于大数据的消费信贷平台_第52张图片

推荐系统架构

【大数据架构】基于大数据的消费信贷平台_第53张图片

推荐系统架构

推荐引擎

【大数据架构】基于大数据的消费信贷平台_第54张图片

推荐引擎

【大数据架构】基于大数据的消费信贷平台_第55张图片

推荐引擎

【大数据架构】基于大数据的消费信贷平台_第56张图片

推荐引擎

召回模型

【大数据架构】基于大数据的消费信贷平台_第57张图片

召回模型

配比

【大数据架构】基于大数据的消费信贷平台_第58张图片

配比

排序

【大数据架构】基于大数据的消费信贷平台_第59张图片

特征工程

【大数据架构】基于大数据的消费信贷平台_第60张图片

排序模型

视频处理引擎

【大数据架构】基于大数据的消费信贷平台_第61张图片

视频处理引擎

【大数据架构】基于大数据的消费信贷平台_第62张图片

视频处理引擎

用户画像&视频画像

【大数据架构】基于大数据的消费信贷平台_第63张图片

视频画像&用户画像

【大数据架构】基于大数据的消费信贷平台_第64张图片

用户画像

【大数据架构】基于大数据的消费信贷平台_第65张图片

视频画像

如何评价推荐系统

【大数据架构】基于大数据的消费信贷平台_第66张图片

推荐系统评价指标

【大数据架构】基于大数据的消费信贷平台_第67张图片

预测CTR可信的可信度

【大数据架构】基于大数据的消费信贷平台_第68张图片

版本迭代

【大数据架构】基于大数据的消费信贷平台_第69张图片

推荐系统测试

【大数据架构】基于大数据的消费信贷平台_第70张图片

640?wx_fmt=png




人工智能赛博物理操作系统

AI-CPS OS

人工智能赛博物理操作系统新一代技术+商业操作系统“AI-CPS OS:云计算+大数据+物联网+区块链+人工智能)分支用来的今天,企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中,利用AI-CPS OS形成数字化+智能化力量,实现行业的重新布局、企业的重新构建和自我的焕然新生。


AI-CPS OS的真正价值并不来自构成技术或功能,而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务数据+分析一体化,这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合,没有颠覆现状的意愿,这些将不可能实现。


领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量,领导者必须在行业、企业与个人这三个层面都保持领先地位:

  1. 重新行业布局:你的世界观要怎样改变才算足够?你必须对行业典范进行怎样的反思?

  2. 重新构建企业:你的企业需要做出什么样的变化?你准备如何重新定义你的公司?

  3. 重新打造自己:你需要成为怎样的人?要重塑自己并在数字化+智能化时代保有领先地位,你必须如何去做?

AI-CPS OS是数字化智能化创新平台,设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端,可以帮助企业将创新成果融入自身业务体系,实现各个前沿技术在云端的优势协同。AI-CPS OS形成的字化+智能化力量与行业、企业及个人三个层面的交叉,形成了领导力模式,使数字化融入到领导者所在企业与领导方式的核心位置:

  1. 精细种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切,进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。

  2. 智能:模型随着时间(数据)的变化而变化,整个系统就具备了智能(自学习)的能力。

  3. 高效:企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力,这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。

  4. 不确定性:数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验,其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域:技术、文化、制度。

  5. 边界模糊:数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化,还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长:

  1. 创造虚拟劳动力,承担需要适应性和敏捷性的复杂任务,即“智能自动化”,以区别于传统的自动化解决方案;

  2. 对现有劳动力和实物资产进行有利的补充和提升,提高资本效率

  3. 人工智能的普及,将推动多行业的相关创新,开辟崭新的经济增长空间


给决策制定者和商业领袖的建议:

  1. 超越自动化,开启新创新模式:利用具有自主学习和自我控制能力的动态机器智能,为企业创造新商机;

  2. 迎接新一代信息技术,迎接人工智能:无缝整合人类智慧与机器智能,重新

    评估未来的知识和技能类型;

  3. 制定道德规范:切实为人工智能生态系统制定道德准则,并在智能机器的开

    发过程中确定更加明晰的标准和最佳实践;

  4. 重视再分配效应:对人工智能可能带来的冲击做好准备,制定战略帮助面临

    较高失业风险的人群;

  5. 开发数字化+智能化企业所需新能力:员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说,创造兼具包容性和多样性的文化也非常重要。


子曰:“君子和而不同,小人同而不和。”  《论语·子路》云计算、大数据、物联网、区块链和 人工智能,像君子一般融合,一起体现科技就是生产力。


如果说上一次哥伦布地理大发现,拓展的是人类的物理空间。那么这一次地理大发现,拓展的就是人们的数字空间。在数学空间,建立新的商业文明,从而发现新的创富模式,为人类社会带来新的财富空间。云计算,大数据、物联网和区块链,是进入这个数字空间的船,而人工智能就是那船上的帆,哥伦布之帆!


新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力,将进一步释放历次科技革命和产业变革积蓄的巨大能量,并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节,形成从宏观到微观各领域的智能化新需求,催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革,深刻改变人类生产生活方式和思维模式,实现社会生产力的整体跃升。





产业智能官  AI-CPS



用“人工智能赛博物理操作系统新一代技术+商业操作系统“AI-CPS OS:云计算+大数据+物联网+区块链+人工智能)在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能;实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链





【大数据架构】基于大数据的消费信贷平台_第71张图片

【大数据架构】基于大数据的消费信贷平台_第72张图片


长按上方二维码关注微信公众号: AI-CPS,更多信息回复:


新技术“云计算”、“大数据”、“物联网”、“区块链”、“人工智能新产业:智能制造”、“智能农业”、“智能金融”、“智能零售”、“智能城市、“智能驾驶”新模式:“财富空间、“数据科学家”、“赛博物理”、“供应链金融”


官方网站:AI-CPS.NET




本文系“产业智能官”(公众号ID:AI-CPS)收集整理,转载请注明出处!



版权声明产业智能官(公众号ID:AI-CPS推荐的文章,除非确实无法确认,我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题,烦请原作者联系我们,与您共同协商解决。联系、投稿邮箱:[email protected]



你可能感兴趣的:(【大数据架构】基于大数据的消费信贷平台)