实时数仓

Hologres+Flink流批一体首次落地4982亿背后的营销分析大屏

概要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（下称Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。
阿里云云栖号·2020-12-01 14:49

Hologres助力飞猪双11实时数据大屏秒级响应

简介：本文重点介绍Hologres如何落地阿里巴巴飞猪实时数仓场景，并助力飞猪双11实时数据大屏3秒起跳，全程0故障。
阿里云云栖号·2020-11-30 11:08

Hologres助力飞猪双11实时数据大屏秒级响应

简介：本文重点介绍Hologres如何落地阿里巴巴飞猪实时数仓场景，并助力飞猪双11实时数据大屏3秒起跳，全程0故障。
阿里云云栖号·2020-11-30 10:06

Hologres是如何完美支撑双11智能客服实时数仓的？

简介：本文重点介绍Hologres如何帮助阿里巴巴客户体验部（CCO），构建集实时化、自助化、系统化于一体的用户体验实时数仓，完美助力双11场景，支持上千+服务大屏，削峰30%，节约成本近30%。
阿里云云栖号·2020-11-26 13:03

菜鸟实时数仓2.0进阶之路

简介：供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。
阿里云云栖号·2020-11-24 15:28

Flink系列-实时数仓之Flink实时写入ClickHouse并实时大屏Tableau

整体架构图工具Flink1.11.2Scala2.11Tableau2020.2一、模拟发送数据新建一个类KafkaProducer用来模拟产生消费数据，代码如下:packageTopNitemsimportjava.text.SimpleDateFormatimportjava.time.{LocalTime,ZonedDateTime}importjava.time.format.DateTi
☞空白页·2020-11-24 10:47

用户行为分析-埋点实时数仓实践(附用户关联源码)

转自：https://blog.csdn.net/appearb...一、概述埋点采集、用户行为分析、实时数仓、IdMapping此文重点讲述埋点的数据模型、数据格式、数据实时采集、加工、存储及用户关联
ostarsier·2020-11-19 05:12

用户行为分析-埋点实时数仓实践(附用户关联源码)

转自：https://blog.csdn.net/appearb...一、概述埋点采集、用户行为分析、实时数仓、IdMapping此文重点讲述埋点的数据模型、数据格式、数据实时采集、加工、存储及用户关联
ostarsier·2020-11-19 05:56

用户行为分析-埋点实时数仓实践(附用户关联源码)

目录一、概述二、数据模型三、数据格式四、架构图五、动态添加ClickHouse列六、用户关联(IdMapping)七、批量写入八、结束(附用户关联源码)一、概述埋点采集、用户行为分析、实时数仓、IdMapping
xianbin.yang·2020-11-18 21:07

当 TiDB 与 Flink 相结合：高效、易用的实时数仓

简介：利用实时数仓，企业可以实现实时OLAP分析、实时数据看板、实时业务监控、实时数据接口服务等用途。但想到实时数仓，很多人的第一印象就是架构复杂，难以操作与维护。
阿里云云栖号·2020-11-18 11:42

当 TiDB 与 Flink 相结合：高效、易用的实时数仓

简介：利用实时数仓，企业可以实现实时OLAP分析、实时数据看板、实时业务监控、实时数据接口服务等用途。但想到实时数仓，很多人的第一印象就是架构复杂，难以操作与维护。
阿里云云栖号·2020-11-18 11:26

云原生实时数仓首次在2020双11核心数据场景落地

简介：这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。背后作为数据核心支撑的大数据平台更是创下新的世界纪录。刚刚结束的2020天猫双11又创下两项新记录：交易额4982亿，订单创建峰值每秒58.3万笔。这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。背
阿里云云栖号·2020-11-13 12:32

网易云音乐基于 Flink + Kafka 的实时数仓建设实践

简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍Flink+Kafka在网易云音乐的应用实战：背景Flink+Kafka平台化设计Kafka在实时数仓中的应用问题&改进直播回放
ApacheFlink·2020-11-13 11:53

当 TiDB 与 Flink 相结合：高效、易用的实时数仓

利用实时数仓，企业可以实现实时OLA
ApacheFlink·2020-11-13 11:04

当 TiDB 与 Flink 相结合：高效、易用的实时数仓

作者介绍：齐智@PingCAP随着互联网飞速发展，企业业务种类会越来越多，业务数据量会越来越大，当发展到一定规模时，传统的数据存储结构逐渐无法满足企业需求，实时数据仓库就变成了一个必要的基础服务。以维表Join为例，数据在业务数据源中以范式表的形式存储，在分析时需要做大量的Join操作，降低性能。如果在数据清洗导入过程中就能流式的完成Join，那么分析时就无需再次Join，从而提升查询性能。利用实
PingCAP·2020-11-13 11:19

从 Storm 迁移到 Flink，美团外卖实时数仓建设实践

简介：本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。作者：朱良本文主要介绍一种通用的实时数仓构建的方法与实践。
阿里云云栖号·2020-11-13 11:30

基于Flink+ClickHouse打造轻量级点击流实时数仓

关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
ApacheFlink·2020-11-13 11:38

云原生实时数仓首次在2020双11核心数据场景落地

简介：这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。背后作为数据核心支撑的大数据平台更是创下新的世界纪录。刚刚结束的2020天猫双11又创下两项新记录：交易额4982亿，订单创建峰值每秒58.3万笔。这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。背
阿里云云栖号·2020-11-13 10:46

外卖界的实时数仓建设

导读：本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。
zhoukk1985·2020-10-23 09:09

OPPO 数据中台之基石：基于 Flink SQL 构建实时数据仓库

一.OPPO实时数仓的演进思路本文主要内容如下：OPPO实时数仓的演进思路；基于FlinkSQL的扩展工作；构建实时数仓的应用案例；未来工作的思考和展望。
weixin_42073629·2020-10-23 00:28

维度数据实时关联的实践（w/ Flink、Vert.x & Guava Cache）

DataEnrichment在流式处理作业（特别是实时数仓ETL作业）中，我们的数据流可以视为无界事实表，其中往往缺乏一些维度信息。
LittleMagic·2020-10-13 15:02

基于Flink+ClickHouse打造轻量级点击流实时数仓

关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。点击流及其维度建模所谓点击流（clickstream），就是指用户访问网站、App等Web前端时
LittleMagic·2020-10-13 15:30

Nexmark: 如何设计一个流计算基准测试？

背景随着数据时效性对企业的精细化运营越来越重要，“实时即未来”、“实时数仓”、“数据湖”成为了近几年炙手可热的
ApacheFlink·2020-10-10 01:26

基于 Flink + Hive 构建流批一体准实时数仓

在一些对延时要求比较高的场景，需要另外搭建基于Flink的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。
ApacheFlink·2020-10-10 01:26

腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践

当业务发展到一定规模，实时数据仓库是一个必要的基础服务。从数据驱动方面考虑，多维实时数据分析系统的重要性也不言而喻。但是当数据量巨大的情况下，拿腾讯看点来说，一天上报的数据量达到万亿级的规模，要实现极低延迟的实时计算和亚秒级的多维实时查询是有技术挑战的。本文将介绍信息流场景下，腾讯看点的实时数据仓库和多维实时数据分析系统的技术架构。1、可解决的痛点可以先看一下，多维实时数据分析系统可以解决哪些痛点
ApacheFlink·2020-10-10 01:17

基于 Flink + ClickHouse 打造轻量级点击流实时数仓

关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
Ververica·2020-10-09 21:19

基于 Flink + Hive 构建流批一体准实时数仓

本文整理自ApacheFlinkCommitter、阿里巴巴技术专家李劲松的分享，文章将分析当前离线数仓实时化的难点，详解Flink如何解决Hive流批一体准实时数仓的难题，实现更高效、合理的资源配置。
阿里云云栖号·2020-10-09 13:35

Nexmark: 如何设计一个流计算基准测试？

背景随着数据时效性对企业的精细化运营越来越重要，“实时即未来”、“实时数仓”、“数据湖”成为了近几年炙手可热的
ApacheFlink·2020-10-09 13:13

基于 Flink + Hive 构建流批一体准实时数仓

在一些对延时要求比较高的场景，需要另外搭建基于Flink的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。
ApacheFlink·2020-10-09 13:40

阿里巴巴电商搜索推荐实时数仓演进之路

简介：自建实时数仓到底难在哪里？实时数仓应该怎么建？
阿里云云栖号·2020-10-09 13:58

阿里巴巴电商搜索推荐实时数仓演进之路

简介：自建实时数仓到底难在哪里？实时数仓应该怎么建？
阿里云云栖号·2020-10-09 13:57

腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践

当业务发展到一定规模，实时数据仓库是一个必要的基础服务。从数据驱动方面考虑，多维实时数据分析系统的重要性也不言而喻。但是当数据量巨大的情况下，拿腾讯看点来说，一天上报的数据量达到万亿级的规模，要实现极低延迟的实时计算和亚秒级的多维实时查询是有技术挑战的。本文将介绍信息流场景下，腾讯看点的实时数据仓库和多维实时数据分析系统的技术架构。1、可解决的痛点可以先看一下，多维实时数据分析系统可以解决哪些痛点
ApacheFlink·2020-10-09 13:39

基于 Flink + Hive 构建流批一体准实时数仓

本文整理自ApacheFlinkCommitter、阿里巴巴技术专家李劲松的分享，文章将分析当前离线数仓实时化的难点，详解Flink如何解决Hive流批一体准实时数仓的难题，实现更高效、合理的资源配置。
阿里云云栖号·2020-10-09 12:10

基于 Flink + Hive 构建流批一体准实时数仓

本文整理自ApacheFlinkCommitter、阿里巴巴技术专家李劲松的分享，文章将分析当前离线数仓实时化的难点，详解Flink如何解决Hive流批一体准实时数仓的难题，实现更高效、合理的资源配置。
阿里云云栖号·2020-10-09 11:37

[Aliyun] 实时数仓Hologres Demo01实时计算实时写入数据至Hologres

部分内容直接摘抄阿里官网作为背景和概述：背景在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。整个业务链路中，要求数据库提供高性能的计算服务，存储海量数据，同时对接多种BI分析工具。单一的数据库很难实现以上所有功能，您必须借助其他数据库的相关能力完成业务流程。在导入导出数据时会产生冗余存储，
栗子哥·2020-10-05 00:06

基于Flink+ClickHouse打造轻量级点击流实时数仓

关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。点击流及其维度建模所谓点击流（clickstream），就是指用户访问网站、App等Web前端时
LittleMagics·2020-09-27 23:05

网易实时数仓实践与展望

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
qianshanding0708·2020-09-17 12:27

实时数仓技术

1.实时数仓建设
cutwind·2020-09-16 22:16

Flink通过异步IO实现redis维表join

使用flink做实时数仓的公司越来越多了，浪尖这边也是很早就开发了一个flink全sql平台来实现实时数仓的功能。说到实时数仓，两个表的概念大家一定会知道的：事实表和维表。
大数据星球-浪尖·2020-09-15 23:33

flink实时数仓(九):增量同步mysql中数据

文章目录数据库中配置流表jdbc工具类枚举类CodeEnumFlowStatusEnumHBaseStorageModeEnum配置类bean对象flink状态类编程MD5加密Hbasesink模板数据库中配置流表CREATETABLE`dbus_flow`(`flowId`int(11)NOTNULLAUTO_INCREMENTCOMMENT'自增ID',`mode`int(11)NOTNULL
_尽_际·2020-09-15 20:56

课堂笔记

实时数仓搭建和flink分析Day02昨日回顾了解实时数仓的整体背景/涉及技术/业务主线实时数仓的整体架构图.使用Canal采集MySQL中的数据变更信息.使用Java开发Canal客户端.ProtoBuf
weixin_45656117·2020-09-15 04:18

课堂笔记

实时数仓搭建和flink分析Day01共性问题HBase里面配置的zk地址后面不能有端口号node01:2181:2181HBase的zk地址不需要自己手动添加端口号,有可能是配置文件引错了.启动的时候提示
weixin_45656117·2020-09-15 04:18

课堂笔记

实时数仓Day04昨日回顾维度数据同步:离线同步维度数据到Redis.实时同步维度数据到Redis.数据过滤进行数据落地:判断MySQL中的操作:增加/修改/删除.执行的时候,不要忘记在APP主程序中调用
weixin_45656117·2020-09-15 03:52

Flink SQL之维表join-----实时数仓

https://blog.csdn.net/jmx_bigdata/article/details/107872332写的还不错~~~~~
专注于大数据技术栈·2020-09-14 15:36

基于 Flink 的典型 ETL 场景实现

简介：本文将从数仓诞生的背景、数仓架构、离线与实时数仓的对比着手，综述数仓发展演进，然后分享基于Flink实现典型ETL场景的几个方案。
阿里云云栖号·2020-09-13 14:59

滴滴基于 Flink 的实时数仓建设实践

1.实时数仓建设目的随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值
阿里云云栖号·2020-09-13 14:24

阿里巴巴电商搜索推荐实时数仓演进之路

简介：自建实时数仓难在哪里？实时数仓应该怎么建？阿里巴巴搜索团队用实战经验告诉您答案！
阿里云云栖号·2020-09-13 14:23

Flink Forward Asia 2019 PPT 下载

FlinkForwardAsia2019在北京召开的，有主会场和几个分会场（企业实践、ApacheFlink核心技术、开源大数据生态、实时数仓、人工智能），内容涉及很多，可以查看下面的PPT。
zhisheng_blog·2020-09-12 07:00

滴滴基于 Flink 的实时数仓建设实践

1.实时数仓建设目的随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值
GOD_WAR·2020-09-11 06:23

转载，维表join详解

在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。
黄瓜炖啤酒鸭·2020-09-11 02:49
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他