E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
实时数仓
实时数仓
实践以及架构
从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,
实时数仓
在这一过程中起到了不可替代的作用。
000X000
·
2023-08-11 14:50
数据仓库
实战
数据中台
架构
数据仓库
big
data
Flink
实时数仓
相关数据:启动日志:{"common":{"ar":"310000","ba":"Redmi","ch":"xiaomi","is_new":"1","md":"Redmik30","mid":"mid_7","os":"Android11.0","uid":"23","vc":"v2.1.111"},"start":{"entry":"icon","loading_time":13312,"op
黑冰vip
·
2023-08-11 12:53
Fink
flink
Mysql表通过存储过程删除生产表数据
在建设
实时数仓
的过程中,用到了Mysql存放增量的结果数据,所以需要定时清理历史数据,为了避免影响的线上的实时数据写入,采用了按照最后更改时间,分段删除的方法。
风筝flying
·
2023-08-10 14:54
5 小时玩转阿里云 Flink 实时湖仓,速速报名!
小时玩转阿里云Flink实时湖仓,项目依托于传智教育博学谷线上教育平台数字化建设场景,真实还原实时计算业务细节,学完后掌握基于阿里云的FlinkCDC,Paimon,StarRocks等核心技术,收获完整
实时数仓
与流式数据湖构建经验
Apache Flink
·
2023-08-10 07:31
flink
大数据
芒果 TV 基于 Flink 的
实时数仓
建设实践
一、芒果TV
实时数仓
建设历程芒果TV
实时数仓
的建设共分为三个阶段,14-19年为第一阶段,技术选型采用Storm/FlinkJava+SparkSQL
Apache Flink
·
2023-08-10 07:26
flink
大数据
大屏实时计算深度剖析(Flink 入门 技术体系剖析 实战 数据处理设计方案 核心技术点)
大屏实时计算深度剖析大屏实时计算深度剖析1.实时计算应用场景1.1智能推荐1.2
实时数仓
1.3大数据分析应用2.Flink快速入门2.1Flink概述2.2Flink基础案例2.3Flink部署配置2.4Flink
Ybb_studyRecord
·
2023-08-10 05:25
大数据
flink
big
data
人工智能
实时计算
基于 Flink x TiDB,智慧芽打造实时分析新方案
摘要:本文整理自智慧芽数据仓库架构师曲明星在FlinkForwardAsia2021
实时数仓
专场的分享。
Flink中文社区
·
2023-08-09 02:20
京东实时数据产品应用实践
低代码实时平台建设3.流批一体化产品体系4.产品运营:实时数据链路三道防线01京东实时产品概况1.实时数据产品支撑业务场景京东实时产品的应用涵盖集团范围内的各个体系,包括零售、物流、健康等都有实时数据的应用场景,例如
实时数仓
学而知之@
·
2023-08-07 02:30
产品运营
低代码
Doris Sequence 列
ApacheDoris在约苗数据平台的
实时数仓
建设实践dorissequence列sequence列目前只支持Uniq模型。
胖胖胖胖胖虎
·
2023-08-06 11:05
doris
doris
实时数仓
分层介绍
ODS:原始数据,日志和业务数据。可通过Kafka进行收集。DWD:根据数据对象为单位进行分流,比如订单、页面访问等等。可存储在Kafka中。DIM:维度数据。可存储在HBase中。DWM:对于部分数据对象进行进一步加工,比如独立访问、跳出行为,也可以和维度进行关联,形成宽表,依旧是明细数据。DWS:根据某个主题将多个事实数据轻度聚合,形成主题宽表。可存储在Doris、ClickHouse、Ela
csdn-延
·
2023-08-03 20:21
大数据
flink
架构
kafka
big
data
分布式
数据仓库
离线数仓中,为什么用两个flume,一个kafka
实时数仓
中,为什么没有零点漂移问题?因为flink直接取的事件时间用kafka是为了速度快,并且数据不丢,那为什么既用了kafkachannel,也用了kafka,而不只用kafkachannel呢?
青云游子
·
2023-08-02 17:04
kafka
flume
kafka
大数据
关于数据中台的思考与总结
关于数据中台的思考与总结目录关于数据中台的思考与总结数据中台数据汇聚数据开发智能运维数据体系数据资产管理数据服务体系离线平台苏宁实时平台美团点评bilibili网易离线数仓与
实时数仓
从0建设离线数仓区别数据中台解决方案零售行业原文地址
akenseren
·
2023-07-28 21:50
大数据
flink
kafka
hadoop
大数据处理架构详解:Lambda架构、Kappa架构、流批一体、Dataflow模型、
实时数仓
前言本文隶属于专栏《大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和参考文献请见大数据理论体系姊妹篇《分布式数据模型详解:OldSQL=>NoSQL=>NewSQL》《分布式计算模型详解:MapReduce、数据流、P2P、RPC、Agent》《大数据存储架构详解:数据仓库、数据集市、数据湖、数据网格、湖仓一体》《大数据处理架构详解:La
Shockang
·
2023-07-28 15:34
大数据理论体系
架构
大数据
数据仓库
review
2Flink
实时数仓
为何分层建模? 避免重复计算3Flink怎么优化内存?flink内存模型1.10做的最大的改动? 0.10版本之后重点4Flink任务挂了怎么办?有什么保证机制?
满床清梦覆星河
·
2023-07-26 17:20
Resume
大数据
HBase数仓架构
上图是
实时数仓
架构图,主要的存储层还是以HBase为主。第一层业务系统数据库在Mysql上。使用Maxwell,其支持白名单和黑名单。
丿灬逐风
·
2023-07-26 06:35
spark
hadoop
数据仓库
HBase
Phoenix
基于 DTS 同步 MySQL 全增量数据至 CKafka,构建
实时数仓
的最佳实践
背景介绍随着IT技术与大数据的不断发展,越来越多的企业开始意识到数据的价值,通过大数据分析,可以帮助企业更深入地了解用户需求、更好地洞察市场趋势。目前大数据分析在每个业务运营中都发挥着重要作用,成为企业提升市场竞争力的关键举措之一。通常企业会构建数据湖仓,将多个数据源通过数据集成技术,汇集一起进行数据分析。由此,数据集成成为了构建数据湖仓的必经之路,然而企业在数据集成过程中却面临很多棘手问题。全量
腾讯云中间件
·
2023-07-25 03:40
kafka
腾讯云
云原生
实时数仓
实战项目(数仓分层)
实时数仓
如何做数据分层我不喜欢搞什么花里胡哨的词汇,让粉丝听着挠头,我就想用大白话分享我自己的建设思路和方案。在开始分享之前,我想给兄弟们说一下数仓建设的方法论:“因地制宜,以业务为中心”。
产品经理自我修养
·
2023-07-24 21:04
数据库
大数据_面试_数据仓库基础概念
实时数仓
与离线数仓的主要区别,应用场景?雪花模型,星型模型,星座模型?缓慢变化维与拉链表?数据质量?数据治理?
高达一号
·
2023-07-22 08:07
大数据
数据仓库
spark
大数据实验报告总结体会_建设大数据中台架构思考与总结
数据中台定义:集成离线数仓与
实时数仓
,并以多数据源统一整合采集到kafka,再通过kafka进行离线数据仓库及实时数据仓库,并集用户标签,统一数据资产管理(对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示
weixin_39800387
·
2023-07-21 14:43
大数据实验报告总结体会
Nifi + Kafka + mysql构建
实时数仓
标题Nifi+Kafka+mysql构建
实时数仓
Nifi安装Nifi安装Kafka安装kafka安装一Nifi简介Nifi最重要的就是Processor(数据处理单元)和FlowFlie(数据流)FlowFile
weixin_41734687
·
2023-07-20 18:27
nifi
bigdata
CloudCanal x StarRocks 在医疗大健康
实时数仓
领域的落地与实践
希望文章内容对各位读者使用CloudCanal构建
实时数仓
带来一些帮助。业务背景大健康背景下,用户对报表和数据大屏的实时性能要求越来越高。
ClouGence
·
2023-07-20 18:57
CloudCanal
数据迁移
数据同步
canal
Mysql+ETLCloud CDC+Doris
实时数仓
同步实战
业务需求及其痛点很多大型企业需要对各种销售及营销数据进行实时同步分析,例如销售订单信息,库存信息,会员信息,设备状态信息等等,这些统计分析信息可以实时同步到Doris中进行分析和统计,Doris作为分析型数据库特别适合于对海量数据的存储和分析,我们只需要把MySQL的表单数据实时同步到Doris即可以实现实时数据分析能力。ApacheDoris介绍ApacheDoris是一个现代化的MPP分析型数
苛子
·
2023-07-20 17:24
mysql
数据库
Mysql+ETLCloud CDC+StarRocks
实时数仓
同步实战
一、业务需求及其痛点大型企业需要对各种业务系统中的销售及营销数据进行实时同步分析,例如库存信息、对帐信号、会员信息、广告投放信息,生产进度信息等等,这些统计分析信息可以实时同步到StarRocks中进行分析和统计,StarRocks作为分析型数据库特别适合于对海量数据的存储和分析,我们只需要把MySQL的表单数据实时同步到StarRocks即可以实现实时数据分析能力。二、StarRocks介绍St
苛子
·
2023-07-20 17:23
mysql
数据库
河北幸福消费金融基于 Apache Doris 构建
实时数仓
,查询提速 400 倍!
基于此,公司决定搭建数据中台,从基于TDH的离线数仓再到基于ApacheDoris的
实时数仓
,最终统一了数据出口,提升了数据质量,并实现查询速度近400倍的提升。
SelectDB技术团队
·
2023-07-20 09:27
金融
apache
大数据
doris
数据分析
数据库
实时数仓
|架构设计与技术选型
下面我就来讲解下我做的项目(
实时数仓
)是如何进行选型的。一、技术选型当我们在选择技术时需要根据客户的需求来进行选择。
大数据老哥
·
2023-07-19 19:25
基于 ByteHouse 构建
实时数仓
实践
实时计算起源于对数据加工时效性的严苛需求:数据的业务价值随着时间的流逝会迅速降低,因此在数据产生后必须尽快对其进行计算和处理,从而最大效率实现数据价值转化,对
实时数仓
的建设需求自然而
qw_6918966011
·
2023-07-18 10:18
java
大数据
网络
实时数仓
详解
前言本文隶属于专栏《大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和参考文献请见大数据理论体系背景伴随着社会的发展,用户对数据仓库的要求越来越高。关于数据仓库请参考我的博客——数据仓库是什么?越来越多的用户希望数据仓库能够做到:分析实时数据和最新数据和历史数据跨数据域的相关性,即使它们传统上不存储在一起(例如,实时客户事件数据与CRM数据
Shockang
·
2023-07-16 17:18
大数据理论体系
数据仓库
实时数仓
实时数仓
-DWS层
理论依据:指标体系如果表有相似,可以抽取成一张表轻度聚合:比如聚合10秒的先放到DWS,这样ADS在计算的时候,会更快
青云游子
·
2023-07-15 13:56
实时数仓
大数据
flink
大数据常见面试题
hive优化2.数据倾斜3.小文件问题4.项目中用到的重点指标(至少3个),要非常熟悉,能说出怎么建的表,怎么算的5.MySQL事务底层原理,MVCC6.拉链表,累积型事务事实表7.数据治理项目,离线数仓,
实时数仓
青云游子
·
2023-07-15 13:56
大数据面试题
大数据
阿里云
实时数仓
AnalyticDB PG版新一代计算引擎Odyssey技术解析
本文作者:吕政、长别、知数等目的随着数字经济时代的到来,越来越多的应用依赖数据分析来挖掘数据的价值。作为大数据存储、在线分析的重要基础系统,分析型数据库(OLAP)为数据价值的在线化提供重要的技术平台。阿里巴巴OLAP团队经过调研发现,现有的OLAP数据库执行引擎往往是在已有的OLTP执行引擎的基础之上,进行二次开发而来,存在性能损耗大、历史包袱重、未充分利用最新优化技术、未充分发挥新硬件优势等问
阿里云数据库
·
2023-07-14 14:43
Clickhouse入门(一)
一般做
实时数仓
https://clickhouse.com/docs/zh/第二章Clickhouse的特点2.1列式存储以下面的表为例:采用行式存储时,数
molecule_jp
·
2023-07-14 03:00
大数据
clickhouse
数据库
腾讯看点基于 Flink 的
实时数仓
及多维实时数据分析实践
当业务发展到一定规模,实时数据仓库是一个必要的基础服务。从数据驱动方面考虑,多维实时数据分析系统的重要性也不言而喻。但是当数据量巨大的情况下,拿腾讯看点来说,一天上报的数据量达到万亿级的规模,要实现极低延迟的实时计算和亚秒级的多维实时查询是有技术挑战的。本文将介绍信息流场景下,腾讯看点的实时数据仓库和多维实时数据分析系统的技术架构。1、可解决的痛点可以先看一下,多维实时数据分析系统可以解决哪些痛点
·
2023-07-13 15:24
flink
Apache Doris 在约苗数据平台的
实时数仓
建设实践
本文导读:约苗平台是国内目前最大的成人预防接种管理服务平台。近年来,随着各功能的不断完善,用户数量不断增多,越来越多注册数据、疫苗类别点击数据、页面浏览时长等数据被生成和积累,如何有效利用这些数据进行处理分析,对于约苗提高工作效率、优化运营决策有着不容小觑的作用。基于此约苗平台历经三代架构演进,最终通过ApacheDoris重构了数据平台架构,统一了数据源出口,实现了近300倍的查询提速,目前已在
SelectDB技术团队
·
2023-06-23 11:06
apache
java
人工智能
大数据就业路线
数仓:主要以SQL语言为主离线数仓(目前基本状态)和
实时数仓
(趋势)SQL语法包括mysql中的sql、hive中的hivesql(重点),spark中的sparksql,flink中的flinksql
烟雨孤舟
·
2023-06-23 06:25
大数据
Flink系列 -
实时数仓
之FlinkCDC实现动态分流实战(十)
自从Flink出了FlinkCDC之后,我们对数据库日志的采集就变得方便了许多了,除去了MaxWell、Cannel、OGG等第三方组件的繁琐配置,目前实现CDC有两种方式:HQL实现和DataStreamAPI实现(推荐)。 想更深入的了解CDC可以通过此链接进行学习: 1.文档->https://ververica.github.io/flink-cdc-connectors/mast
小飞牛_666
·
2023-06-22 13:08
[建议收藏] Mysql+ETLCloud CDC+Doris
实时数仓
同步实战
一、业务需求及其痛点随着数字化转型,企业需要对各种销售及营销数据进行实时同步分析,例如销售订单信息,库存信息,会员信息,设备状态信息等等,这些统计分析信息可以实时同步到Doris中进行分析和统计,Doris作为分析型数据库特别适合于对海量数据的存储和分析,我们只需要把MySQL的表单数据实时同步到Doris即可以实现实时数据分析能力。二、ApacheDoris介绍ApacheDoris是一个现代化
苛子
·
2023-06-22 06:26
大数据
数据分析
数据挖掘
Apache Flink X Apache Doris 构建极速易用的
实时数仓
架构
本篇内容主要分为四个部分:
实时数仓
需求和挑战基于ApacheDoris和ApacheFlink构建
实时数仓
用户案例与最佳实践分享新版本特性点击查看直播回放和演讲PPT一、
实时数仓
需求和挑战在数据流的角度上
·
2023-06-21 14:18
后端flink大数据实时计算
知乎
实时数仓
架构演进
从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,
实时数仓
在这一过程中起到了不可替代的作用。
·
2023-06-21 14:37
知乎
实时数仓
架构演进
从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,
实时数仓
在这一过程中起到了不可替代的作用。
·
2023-06-21 14:37
知乎
实时数仓
架构演进
从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,
实时数仓
在这一过程中起到了不可替代的作用。
·
2023-06-21 14:06
flink
实时数仓
构建与开发[记录一些坑]
记-flink
实时数仓
搭建、开发、维护笔记业务场景描述数仓架构数仓分层odsdimdwddws数仓建模注意项数仓建模开发规范命名规范问题与原因分析1、debezium采集pg表,数据类型问题2、业务库出现大批量刷表数据
cg6
·
2023-06-20 08:24
flink
大数据
flink
kafka
java
消息推送平台的
实时数仓
?!flink消费kafka消息入到hive
大家好,3y啊。好些天没更新了,并没有偷懒,只不过一直在安装环境,差点都想放弃了。上一次比较大的更新是做了austin的预览地址,把企业微信的应用和机器人消息各种的消息类型和功能给完善了。上一篇文章也提到了,austin常规的功能已经更新得差不多了,剩下的就是各种细节的完善。不知道大家还记不记得我当时规划austin时,所画出的架构图:现在就剩下austin-datahouse这个模块没有实现了,
·
2023-06-19 20:18
新闻速递 | KaiwuDB 亮相 DTCC 2022 线上大会并发表系列主题演讲
本届大会以“数据智能价值创新”为主题,邀请超百位行业专家,重点围绕时序数据库、图数据技术、
实时数仓
技术与应用实践、云原生数据库、大数据平台与数据安全等内容展开分享和探讨。
·
2023-06-19 19:01
数据库
实时数仓
Hologres 新一代弹性计算组实例技术揭秘
随着
实时数仓
在业务生产系统的普及,资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。
·
2023-06-19 17:56
数据库云计算阿里云
阿里云
实时数仓
Hologres年度发布,解读数仓新趋势
简介:阿里云
实时数仓
Hologres年度发布,解读数仓新趋势。
·
2023-06-19 17:22
阿里云数据仓库
数据仓库介绍与
实时数仓
案例
1.数据仓库简介数据仓库是一个面向主题的(SubjectOriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(TimeVariant)的数据集合,用于支持管理决策。数据仓库是伴随着企业信息化发展起来的,在企业信息化的过程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术也在不停的发展。数据
·
2023-06-19 17:16
大数据架构数据仓库消息队列
如果你也想做
实时数仓
…
本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及
实时数仓
与离线数仓的对比六个方面全面分享关于数仓的详细内容。
·
2023-06-19 17:16
揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor
丰富而复杂的上下游系统让它能够支撑
实时数仓
、实时风控、实时机器学习等多样化的应用场景。
Apache Flink
·
2023-06-18 12:08
Flink
大数据
实时计算
阿里云
flink
大数据
运维
人工智能
美团买菜基于 Flink 的
实时数仓
建设
摘要:本文整理自美团买菜
实时数仓
技术负责人严书,在FlinkForwardAsia2022实时湖仓专场的分享。
Apache Flink
·
2023-06-18 12:07
Flink
大数据
实时计算
flink
大数据
人工智能
大数据/数仓面试灵魂30问(转)
8.
实时数仓
做过吗?采用什么架构?lambda有哪些优
Eva菠萝
·
2023-06-17 19:21
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他