E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
实时数仓
幸福里基于 Flink & Paimon 的流式数仓实践
幸福里业务是一种典型的交易、事务类型的业务场景,这种业务场景在
实时数仓
建模中遇到了诸多挑战。
·
2023-09-18 17:57
后端flink大数据
【遇见Doris】Doris在作业帮
实时数仓
中的应用&实践
9月20日的ApacheDoris线上Meetup——壹佰案例峰会预热沙龙圆满成功,现在为大家带来这次Meetup的内容回顾。本次Meetup请到了来自作业帮和百度画像团队的技术大牛带来ApacheDoris应用与实践上的经验分享,了解更多详情请关注Doris官方公众号。嘉宾分享回顾会陆续放出,公众号后台回复“0920”立即get回放录像。糜利敏作业帮大数据查询引擎负责人伴随着业务的快速发展,由于
ApacheDoris
·
2023-09-18 08:07
大数据
分布式
编程语言
hadoop
数据库
实时数仓
方案如何选型和构建(建议收藏)
一、为何需要
实时数仓
架构最初企业存储数据都在数仓中存储,但是随着数据量的增大,传统数据的方案在时效性上和数据维护上变得越来越困难。
实时数仓
架构应运而生。
also&lucky
·
2023-09-16 11:30
大数据
数据仓库
离线数仓和
实时数仓
割裂的痛点,数据湖方案
离线数仓和
实时数仓
割裂的痛点:1)离线加工数据产出时效性不足2)实时加工可观测性,可运维性较弱3)批流双链路,双份资源开销4)全天计算资源高峰集中在凌晨数据湖方案:数据入湖增量计算,提升时效流表二像性,
秉寒-CHO
·
2023-09-16 08:53
大数据
【学习笔记】尚硅谷大数据项目之Flink
实时数仓
---数据可视化接口实现
这里写自定义目录标题第1章数据可视化接口1.1设计思路1.2需求梳理1.2.1最终显示效果图1.2.2分析可视化大屏1.2.3接口执行过程第2章Sugar数据大屏2.1产品介绍2.2使用入口2.3创建数据大屏第3章总成交金额接口3.1Sugar组件:数字翻牌器3.1.1添加组件3.1.2配置组件3.1.3查询组件需要的数据格式3.1.4接口访问路径以及返回格式3.2数据接口实现3.2.1创建数据接
在学习的王哈哈
·
2023-09-13 13:31
大数据项目
大数据
学习
flink
尚硅谷大数据项目《在线教育之
实时数仓
》笔记001
视频地址:尚硅谷大数据项目《在线教育之
实时数仓
》_哔哩哔哩_bilibili目录P001P002P003P004P005P001以在线教育采集系统和离线数仓为前置基础,分为三个部分讲解:
实时数仓
架构介绍
upward337
·
2023-09-13 13:00
#
大数据数仓
大数据
数据仓库
实时数仓
实时数仓
方案五花八门,实际落地如何选型和构建!
编辑|韩楠约4,989字|10分钟阅读01文章概览(一至五)✦一、为何需要
实时数仓
架构二、数仓如何分层&各层用途三、数仓分层的必要性四、从Lambda架构说起五、Kappa架构解决哪些问题0
浪尖聊大数据-浪尖
·
2023-09-12 07:34
大数据
编程语言
hadoop
数据库
python
一文彻底搞懂
实时数仓
如何选型和构建
目录前言01为何需要
实时数仓
架构02数仓如何分层&各层用途03数仓分层的必要性04从Lambda架构说起05Kappa架构解决哪些问题06深入
实时数仓
架构方案1:Kappa架构方案2:基于标准分层+流计算方案
csdn-延
·
2023-09-12 06:33
数仓
大数据
架构
数据仓库
大数据
数据挖掘
实时数仓
Flink
【珍藏版】数仓平台、推荐系统架构选型及解决⽅案
持续输出敬请关注大数据架构湖仓一体化流批一体离线+
实时数仓
各种大数据解决方案各种大数据新技术实践持续输出敬请关注【好文推荐】【好文推荐】【好文推荐】【好文推荐】【好文推荐】⼤数据平台基础架构及解决⽅案_
大数据研习社
·
2023-09-12 06:02
大数据实战精英+架构师
大数据
数据仓库
cloudera
推荐算法
人工智能
【数仓建设系列之五】数仓选型架构概览
【数仓建设系列之五】
实时数仓
选型架构概览离线数仓(OfflineDataWarehouse)和
实时数仓
(Real-timeDataWarehouse)是数仓领域两种常见的数据存储和处理架构,它们在数据处理的方式
码猿小站
·
2023-09-12 06:30
数据仓库
数仓建设
架构
java
数据仓库
基于flink实时数据仓库-第一讲基本情况介绍
实时数据仓库1、电商
实时数仓
分层介绍1.1普通实时计算和实时数据仓库比较1.2实时数据仓库,项目分层2.实时需求概述2.1离线计算和实时计算比较2.2实时需求种类3.统计架构分析3.1离线架构3.2实时架构
大数据学习爱好者
·
2023-09-10 15:34
Flink
开发
java
flink
时序数据库插入性能评测:MatrixDB是InfluxDB的78倍,TDEngine的38倍
TDengine不能确保数据不错不重不丢MatrixDB在各种规模数据写入时,内存消耗小而且平稳;InfluxDB占用内存较多;TDengine占用内存最多MatrixDB支持冷热分级存背景在物联网和
实时数仓
场景中
YMatrix 官方技术社区
·
2023-09-07 20:25
big
data
tdengine
数据库
时序数据库
数据仓库
大数据线上问诊
实时数仓
项目
尚硅谷线上问诊
实时数仓
项目延续了离线数仓的业务逻辑,以线上问诊开处方为基础业务逻辑,真实表现了线上问诊数据的实时分析统计。
尚硅谷铁粉
·
2023-09-01 18:46
big
data
大数据
数据仓库
新一代云原生
实时数仓
SelectDB 登顶 ClickBench 榜单!
近期,在ClickHouse发起的分析型数据库性能测试排行榜ClickBench中,新一代云原生数仓SelectDB强势登顶,性能表现超越一众国内外产品,多项指标排行前列,并在业界最为通用的c6a.4xlarge,500gbgp2机型下排行全球第一!在ClickBench性能排行榜中,测试数据均取自真实生产环境、涵盖数据类型多样、覆盖了即席查询和统计报表等典型场景,能真实反映各大数据库在生产环境中
张家锋
·
2023-09-01 17:35
【大数据】数据湖:下一代大数据的发展趋势
下一代大数据的发展趋势1.数据湖技术产生的背景1.1离线大数据平台(第一代)1.2Lambda架构1.3Lambda架构的痛点1.4Kappa架构1.5Kappa架构的痛点1.6大数据架构痛点总结1.7
实时数仓
建设需求
G皮T
·
2023-09-01 16:24
大数据
大数据
数据湖
Iceberg
Lambda架构
Kappa架构
说说Kappa架构
分析&回答对于
实时数仓
而言,Lmabda架构有很明显的不足,首先同时维护两套系统,资源占用率高,其次这两套系统的数据处理逻辑相同,代码重复开发。
学一次
·
2023-09-01 06:56
大数据
架构
大数据
java
实时数仓
构建新思路,NineData数据复制技术详解
8月30日,由NineData和SelectDB共同举办的主题为“实时数据驱动,引领企业智能化数据管理”的线上联合发布会,圆满成功举办!双方聚焦于实时数据仓库技术和数据开发能力,展示如何通过强大的生态开发兼容性,对接丰富的大数据生态产品,助力企业快速开展数据分析业务,共同探索实时数据驱动的未来企业智能化数据管理解决方案。本文根据玖章算术技术副总裁陈长城(天羽)在NineDataXSelectDB联
·
2023-08-31 16:55
说说构建流批一体准
实时数仓
在一些对延时要求比较高的场景,需要另外搭建基于Flink的
实时数仓
,将链路延时降低到秒级。但是一套离线数仓加一套
实时数仓
的架构会带来超过两倍的资源消耗,甚至导致重复开发。
学一次
·
2023-08-31 07:50
大数据
hive
数据库
融入数据浪潮,KaiwuDB 期待与您共赴 DTCC 2023
大会以“数智赋能共筑未来”为主题,设置2大主会场,20+技术专场,邀请超百位行业专家,重点围绕HTAP与多模数据库应用、图数据技术、云原生数据库、
实时数仓
等内容展开分享和探讨。
KaiwuDB
·
2023-08-30 23:10
KaiwuDB
DTCC
2023
flinksql
实时数仓
监听binlog上传到nsqnsq转kafka,flinksql获取kafkaTable聚合将结果写到hbaseimage.png--kafkacreatetabledw_dws_pay_stored_card_recharge(recharge_novarchar,kdt_idvarchar,hq_kdt_idvarchar,operator_namevarchar,recharge_timev
qwer__
·
2023-08-28 02:17
《阿里云
实时数仓
Hologres最佳实践合集》
简介:《阿里云原生
实时数仓
Hologres最佳实践合集》电子书将会首次拆解HSAP核心原理,并介绍其在阿里巴巴双11核心场景落地的最佳实践。
阿里云Hologres
·
2023-08-27 22:38
一键实现 Oracle 数据整库同步至 Apache Doris
在实时数据仓库建设或迁移的过程中,用户必须考虑如何高效便捷将关系数据库数据同步到
实时数仓
中来,ApacheDoris用户也面临这样的挑战。
SelectDB技术团队
·
2023-08-26 19:37
oracle
apache
数据库
大数据
doris
离线数仓和
实时数仓
的区别
作者介绍@车云祥大宇无限数据产品负责人主要负责全公司底层数据治理,构建统一指标体系;主导BI系统、用户画像系统、广告投放平台、广告流量优化等设计工作;推动Snaptube、LarkPlayer、Zapee等明星产品与数据紧密结合,实现高效运转;通过对业务需求深度梳理、数据方案高质量设计、数据分析洞察与优化、营销策略闭环输出的不断实践,帮助公司实现数据驱动业务增长;“数据人创作者联盟”成员。01数仓
一个数据人的自留地
·
2023-08-24 20:25
【学习笔记】尚硅谷大数据项目之Flink
实时数仓
---DWM层
DWM层第1章DWS层与DWM层的设计1.1设计思路1.2需求梳理第2章DWM层-访客UV计算2.1需求分析与思路2.2代码实现2.2.1从Kafka的dwd_page_log主题接收数据2.2.2核心的过滤代码2.2.3将过滤处理后的UV写入到Kafka的dwm_unique_visit2.2.4测试第3章DWM层-跳出明细计算3.1需求分析与思路3.1.1什么是跳出3.1.2计算跳出行为的思路
在学习的王哈哈
·
2023-08-24 17:52
大数据项目
学习
flink
大数据
大数据数据仓库
数据采集和存储、对数据进行计算和分析2.项目架构2.数据分类业务数据用户行为数据爬虫数据2.离线数仓3.
实时数仓
highly2009
·
2023-08-24 04:52
数据仓库
一键实现 Oracle 数据整库同步至 Apache Doris
在实时数据仓库建设或迁移的过程中,用户必须考虑如何高效便捷将关系数据库数据同步到
实时数仓
中来,ApacheDoris用户也面临这样的挑战。
·
2023-08-23 12:48
基于阿里云 Flink+Hologres 搭建
实时数仓
摘要:本文作者阿里云Hologres高级研发工程师张高迪&阿里云Flink技术内容工程师张英男,本篇内容将为您介绍如何通过实时计算Flink版和
实时数仓
Hologres搭建
实时数仓
。
Apache Flink
·
2023-08-23 07:33
阿里云
flink
云计算
大数据
Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座
内容主要分为四个部分:流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的
实时数仓
中的一个实时预处理的功能
Apache Flink
·
2023-08-23 07:58
Flink
大数据
实时计算
apache
Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座
内容主要分为四个部分:流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的
实时数仓
中的一个实时预处理的功能
·
2023-08-22 10:14
后端flink大数据实时计算
1.8万字详解
实时数仓
建设方案及大厂案例
一、
实时数仓
建设背景关注公号:数元斋1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切,需要
实时数仓
的能力来赋能。
少晗
·
2023-08-19 03:39
大数据
StoneData 2.0 正式上线阿里云市场,高性能、低成本一站式
实时数仓
,满足用户全场景分析需求
好消息,石原子旗下新一代离在线一体化
实时数仓
StoneData2.0正式上线阿里云云市场了!云市场版本交付方式为计算巢私有化部署,自动完成云资源的创建和应用部署,相比传统部署方案,大幅降低配置复杂度。
·
2023-08-17 12:28
mysql数据库
StoneData 2.0 正式上线阿里云市场,高性能、低成本一站式
实时数仓
,满足用户全场景分析需求
好消息,石原子旗下新一代离在线一体化
实时数仓
StoneData2.0正式上线阿里云云市场了!云市场版本交付方式为计算巢私有化部署,自动完成云资源的创建和应用部署,相比传统部署方案,大幅降低配置复杂度。
·
2023-08-17 12:18
mysql数据库
网易云音乐
实时数仓
治理优化实践
导读今天分享的主题是
实时数仓
治理的优化实践。
王知无(import_bigdata)
·
2023-08-16 18:02
基于Doris实时数据开发的一些注意事项
基于Doris的一些存储
实时数仓
在越来越多的场景中开始有一些实践。大家也看到了这种方案频繁出现在社区分享中。
王知无(import_bigdata)
·
2023-08-16 18:02
基于 Kafka 的
实时数仓
在搜索的实践应用
一、概述ApacheKafka发展至今,已经是一个很成熟的消息队列组件了,也是大数据生态圈中不可或缺的一员。ApacheKafka社区非常的活跃,通过社区成员不断的贡献代码和迭代项目,使得ApacheKafka功能越发丰富、性能越发稳定,成为企业大数据技术架构解决方案中重要的一环。ApacheKafka作为一个热门消息队列中间件,具备高效可靠的消息处理能力,且拥有非常广泛的应用领域。那么,今天就来
vivo互联网技术
·
2023-08-16 17:55
技术分享 | StoneData 的身份认证与访问控制策略:构建安全可靠的数据分析环境
身份认证与访问控制策略是构建安全可靠的数仓环境的核心要素,StoneData作为一款新一代高性能、低成本的一站式
实时数仓
,已具备健全的身份认证与访问控制能力。本文将围绕着账号合规
·
2023-08-16 15:35
mysql数据库
技术分享 | StoneData 的身份认证与访问控制策略:构建安全可靠的数据分析环境
身份认证与访问控制策略是构建安全可靠的数仓环境的核心要素,StoneData作为一款新一代高性能、低成本的一站式
实时数仓
,已具备健全的身份认证与访问控制能力。本文将围绕着账号合规
·
2023-08-16 15:24
mysql数据库
融入数据浪潮,KaiwuDB 期待与您共赴 DTCC 2023
大会以“数智赋能共筑未来”为主题,设置2大主会场,20+技术专场,邀请超百位行业专家,重点围绕HTAP与多模数据库应用、图数据技术、云原生数据库、
实时数仓
等内容展开分享和探讨。
·
2023-08-16 15:51
数据库
火山引擎ByteHouse助力中国地震台网中心,快速构建一站式
实时数仓
更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,并进入官方交流群近日,中国地震台网中心与火山引擎达成合作,双方将围绕ByteHouse
实时数仓
展开合作。
·
2023-08-16 13:57
流批一体的近
实时数仓
的思考与设计
摘要:基于对数据时间旅行的思考,引出了对目前三种数仓形态和两种数仓架构的思考。结合数据湖在Flink的应用和数据湖元数据类型的思考,探索了基于数据湖的FlinkSQL流批一体的实践,在流批一体SQL表达一致、结果一致性、流批任务分离、混合调度依赖等进行了设计和探索。同时,欢迎大家多分享具体实践,一起共筑新的数据实践方式。一、数据的时间旅行和业务对数据的本质要求大规模的数据处理兴起于Hadoop生态
·
2023-08-16 10:30
实时计算flink云计算阿里云
芒果 TV 基于 Flink 的
实时数仓
建设实践
一、芒果TV
实时数仓
建设历程芒果TV
实时数仓
的建设共分为三个阶段,14-19年为第一阶段,技术选型采用Storm/FlinkJava+SparkSQL
·
2023-08-15 18:00
后端flink大数据实时计算
专家老师带教!现场答疑!阿里云实时计算 Flink 版线下训练营北京站来啦!
专家老师现场教学,真实还原实时计算业务和
实时数仓
场景,现场有机会领取Flink最新周边礼包!
·
2023-08-15 18:43
后端flink大数据实时计算
Apache Doris 在约苗数据平台的
实时数仓
建设实践
本文导读:约苗平台是国内目前最大的成人预防接种管理服务平台。近年来,随着各功能的不断完善,用户数量不断增多,越来越多注册数据、疫苗类别点击数据、页面浏览时长等数据被生成和积累,如何有效利用这些数据进行处理分析,对于约苗提高工作效率、优化运营决策有着不容小觑的作用。基于此约苗平台历经三代架构演进,最终通过ApacheDoris重构了数据平台架构,统一了数据源出口,实现了近300倍的查询提速,目前已在
·
2023-08-15 16:52
实时数仓
浪潮来袭,这些宝藏开源CDC工具助您破壁 | StoneDB数据库观察 第9期
作者|祁国辉编辑|宇亭头图|Yeekin责编|韩楠
实时数仓
的浪潮来袭,对于用户最大的挑战,就是业务数据的变化需要实时反馈到后台系统,甚至需要针对这些变化,快速做出反应,那么就需要
·
2023-08-15 16:38
数据库mysql
BIGO 使用 Flink 做 OLAP 分析及
实时数仓
的实践和优化
▼关注「ApacheFlink」,获取更多技术干货▼摘要:本文整理自BIGOStaffEngineer邹云鹤在FlinkForwardAsia2021的分享。主要内容包括:业务背景落地实践&特色改进应用场景未来规划Tips:点击「阅读原文」查看原文视频&演讲PDF~一、业务背景BIGO是一家面向海外的以短视频直播业务为主的公司,目前公司的主要业务包括BigoLive(全球直播服务),Likee(短
Apache Flink
·
2023-08-13 15:54
数据仓库
大数据
数据库
python
数据分析
不惧流量持续上涨,BIGO 借助 Flink 与 Pulsar 打造实时消息系统
随着数据规模日益增长,产品不断迭代,BIGO消息流平台承载的数据规模出现了成倍增长,下游的在线模型训练、在线推荐、实时数据分析、
实时数仓
等业务对消息流平台的实时性和稳定性提出了更高的要求。
zhisheng_blog
·
2023-08-13 15:53
运维
大数据
分布式
hadoop
数据库
基于 Flink 的 OLAP 分析及
实时数仓
实践
摘要:本文整理自BIGOStaffEngineer邹云鹤在FlinkForwardAsia2021的分享。主要内容包括:业务背景落地实践&特色改进应用场景未来规划一、业务背景BIGO是一家面向海外的以短视频直播业务为主的公司,目前公司的主要业务包括BigoLive(全球直播服务),Likee(短视频创作分享平台),IMO(免费通信工具)三部分,在全球范围内拥有4亿用户。伴随着业务的发展,对数据平台
浪尖聊大数据-浪尖
·
2023-08-13 15:53
数据仓库
大数据
数据库
java
数据分析
使用Flink 与 Pulsar 打造实时消息系统
随着数据规模日益增长,产品不断迭代,BIGO消息流平台承载的数据规模出现了成倍增长,下游的在线模型训练、在线推荐、实时数据分析、
实时数仓
等业务对消息流平台的实时性和稳定性提出了更高的要求。
ITFLY8
·
2023-08-13 15:22
运维
大数据
分布式
hadoop
数据库
实时数仓
在滴滴的实践和落地
1.
实时数仓
建设目的随着互联网的发展进入下半场,数据的时效性对企业的精细化运营越来越重要,商场如战场,在每天产生的海量数据中,如何能实时有效的挖
滴滴技术
·
2023-08-12 03:36
实时数仓
项目架构分层
一、滴滴
实时数仓
项目在公司内部,我们数据团队有幸与顺风车业务线深入合作,在满足业务方实时数据需求的同时,不断完善
实时数仓
内容,通过多次迭代,基本满足了顺风车业务方在实时侧的各类业务需求,初步建立起顺风车
实时数仓
公众号:肉眼品世界
·
2023-08-11 14:50
大数据
数据库
java
人工智能
数据仓库
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他