E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓(
实时
数仓
Hologres 如何支持超大规模部署与运维
阿里云实时
数仓
Hologres(原阿里云交互式分析)在报表任务、交互式查询、压力测试、稳定性等方面通过了中国信通院分布式分析型数据库性能评测(大规模),并以8192个节点刷新了通过该评测现有参评的规模记录
阿里云技术
·
2023-10-26 12:41
运维
big
data
数据仓库
新一代Hologres实时
数仓
大揭秘
看支撑阿里内外部业务场景实时
数仓
是如何运作的?云计算情报局带您解密实时
数仓
!作者:金晓军(仙隐),阿里云资深技术专家,大数据领域从业10年,现从事交互式分析引擎Hologres设计与研发工作。
阿里云技术
·
2023-10-26 12:11
【Hologres】基于Hologres实时离线一体化
数仓
建设实践
0、案例业务背景在互联网大潮中,新东方在IT技术上也不断重构,持续投入大数据建设,研发大数据的相关技术和应用,从而快速而精准地响应业务需求,并用数据为集团各级领导提供决策依据。新东方的大数据应用主要包括两部分:企业应用端的业务场景(B端):包括交易,教学,人员等数据,数据规模为TB级。数据会被按照不同的条件和学校层级等,形成营收、教学、客服、财富人事等实时报表,为CRM系统的成千上万名业务顾问提供
Impl_Sunny
·
2023-10-26 12:39
#
案例精选
Hologres
教育行业
实时数仓
实时
数仓
Hologres
1.概述Hologres是阿里巴巴自主研发的一站式实时
数仓
引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(AdHoc
大数据开发工程师-宋权
·
2023-10-26 12:09
Hologres
big
data
数据库
数据仓库
实时
数仓
Hologres 【快速了解】
什么是实时
数仓
HologresHologres是阿里巴巴自主研发的一站式实时
数仓
引擎(Real-TimeDataWarehouse),支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL
一阵暖风
·
2023-10-26 12:38
数据仓库
数据库
数据挖掘
【Hologres】实时
数仓
Hologres揭秘:深度解析高效率分布式查询引擎-阿里云开发者社区介绍xxx实时
数仓
发展背景介绍xxx实时
数仓
1.0从2019年开始搭建,基于KuduOLAP引擎构建,前期承载业务不多,任务量不大,运行稳定
奋斗者ing
·
2023-10-26 12:08
大数据
人工智能
大数据实时(5)-Hologres实时
数仓
验证
目录:1、Hologres2、技术架构3、适用场景4、验证1、Hologres阿里的Hologres推出后,受到了很多关注,以几个方面的因素:1)Hologres作为MPP架构的一款大数据存储分析引擎,提供了很好的性能支撑;2)确实是解决了很多客户的问题,有一些大数据高并发的场景也能适用;3)是相较于ADB的产品,从官方资料方面,确实有很多的提升,但验证的结果如何,还是各有千秋;我们来看看官方的介
ly_zixuan
·
2023-10-26 12:08
大数据
软件架构
postgresql
数据库
big
data
从双11看实时
数仓
Hologres高可用设计与实践
在这场大考中,一站式实时
数仓
Hologres以每秒11.2亿条的高速写入,和每秒1.1亿次的查询峰值(包含点查和OLAP查询),交出了满意的答卷,稳定高效地支撑了阿里巴巴双11核心应用场景。
aliyunhologres
·
2023-10-26 12:37
技术原理解读
big
data
数据仓库
分布式
大数据
实时
数仓
-Hologres介绍与架构
本文是向大家介绍Hologres是一款实时HSAP产品,隶属阿里自研大数据品牌MaxCompute,兼容PostgreSQL生态、支持MaxCompute数据直接查询,支持实时写入实时查询,实时离线联邦分析,低成本、高时效、快速构筑企业实时数据仓库(Real-TimeDataWarehouse)。1.HSAP理念与产品首先介绍下大数据相关实时业务场景,一般有实时大屏、实时BI报表、用户画像和监控预
高阳很捷迅
·
2023-10-26 12:37
IT管理
数据分析
Hologres
HSAP
实时数据仓库
MaxCompute
2023 Datawhale数据分析实习面经
了解
数仓
吗?4.编程题:(1)两数之和(2)求根号2,误差在0.01之内(二分)5.sql题:(1)行去重(2)求每个用户某一列的最大值6.业务场景题100万经费,给用户发优惠卷--->拉新或者
深度之眼
·
2023-10-26 07:13
粉丝的投稿
人工智能干货
面试
数据分析
AnalyticDB for PostgreSQL 6.0 新特性介绍
ADBPG6.0版本大幅提升并发事务处理能力,更好的满足实时
数仓
场景,同时通过事务锁等优化,完
阿里云技术
·
2023-10-26 03:07
PostgreSQL
OLAP
Greenplum
尚硅谷大数据项目《在线教育之实时
数仓
》笔记003
视频地址:尚硅谷大数据项目《在线教育之实时
数仓
》_哔哩哔哩_bilibili目录第7章
数仓
开发之ODS层P015第8章
数仓
开发之DIM层P016P017P018P01901、node001节点Linux
upward337
·
2023-10-26 02:44
#
大数据数仓
大数据
实时数仓
flink
1024程序员节
我在叽里呱啦折腾 DolphinScheduler 的日子
前言“工欲善其事,必先利其器”在2019年进行
数仓
建设时,选择一款易用、方便、高效的调度系统被摆在非常突出的位置,感谢前同事马振洋同学和杨孟霏同学的付出,最终有缘选择了DolphinScheduler的前身
DolphinScheduler社区
·
2023-10-25 19:23
运维
数据库
java
大数据
编程语言
阿里云云原生一体化
数仓
— 数据建模新能力解读
2020年之前,DataWorks支持的是开发视角、自底向上、小步快跑,快速满足业务需求为首要目标的
数仓
构建模式,然而随着内部数据模型越来越多,线下评审流程越来越复杂,淘宝、天猫、盒马、菜鸟等多个数据仓团队开始和
阿里云技术
·
2023-10-25 14:35
大数据
云计算
阿里云
Doris
数仓
的4大特点
Doris是一款基于MPP技术的SQL分析型数据库系统,能够在海量数据的OLAP场景下提供毫秒级的查询响应性能。Doris的实现架构脱胎自ApacheImpala和GoogleMesa系统,并进行了大量的改造和优化,最终形成了今天大家看到的这款架构优雅、性能卓越、功能丰富、简单易用的OLAP数据库系统。0****1极简架构Doris从设计上来说,融合了GoogleMesa的数据存储模型、Apach
Elivis Hu
·
2023-10-25 11:44
数仓
1024程序员节
Databend 开源周报第 116 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2023-10-25 07:30
1024程序员节
商业
数仓
的搭建【转载】
商业
数仓
的目的是为了构建面向分析的集成化数据环境,为企业的决策提供支持(DecisionSupport)。
为祁
·
2023-10-24 23:21
Flink实时写入Apache Doris如何保证高吞吐和低延迟
借助海量数据,实时
数仓
在有效挖掘有价值信息、快速获取数据反馈、帮助企业更快决策、更好的产品迭代等方面发挥着不可替代的作用。
后季暖
·
2023-10-24 18:01
flink
apache
大数据
【数据仓库-零】数据仓库知识体系 ing
文章目录一.
数仓
基本概念二.离线
数仓
建设方法论三.etl流程四.
数仓
规范建设指南四.数据仓库架构五.数据可视化通过熟悉构建
数仓
整体的过程,可以系统的了解
数仓
构建理论:能够站在全局角度看
数仓
的运行架构,
数仓
执行流程
roman_日积跬步-终至千里
·
2023-10-24 16:41
数据仓库
数据仓库
实时
数仓
-Canal介绍
实时
数仓
中架构如下图:实时
数仓
架构图.jpg实时架构主要数据来源有3块日志文件(或设备上的心跳数据),由Flume或者Springboot程序直接写到kafka中接口API,使用程序调用接口业务数据库,
脆弱的天炎
·
2023-10-24 16:40
数仓
建设保姆级教程,离线和实时理论+实战)
文档大纲:一、
数仓
基本概念1.数据仓库架构我们在谈
数仓
之前,为了让大家有直观的认识,先来谈
数仓
架构,“架构”是什么?这个问题从来就没有一个准确的答案。
程序员的隐秘角落
·
2023-10-24 00:33
查询性能较 Trino/Presto 3-10 倍提升!Apache Doris 极速数据湖分析深度解读
在最初的概念里,数据仓库被定义为「一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策」,而数据湖最初是为了解决
数仓
无法存储海量且异构的数据而构建的集中式存储系统。
SelectDB技术团队
·
2023-10-23 22:46
apache
数据库
数据仓库
数据分析
数据挖掘
Apache Doris 1.1 特性揭秘:Flink 实时写入如何兼顾高吞吐和低延时
导读:随着数据实时化需求的日益增多,数据的时效性对企业的精细化运营越来越重要,使得实时
数仓
在这一过程中起到了不可替代的作用。
SelectDB技术团队
·
2023-10-23 22:45
apache
flink
大数据
本地
数仓
网络设备迁移实录
环境:本地机房深信服防火墙A8.0.75AF-2000-FH2130B-SCH3CS6520-26Q-SI交换机AVersion7.1.070,Release6326H3CIDC机房深信服防火墙B8.0.75AF-2000-FH2130B-SCH3CS6520交换机Bversion7.1.070,Release6530P02问题描述:本地机房H3CS6520交换机Avlan33,网段192.168
玩电脑的辣条哥
·
2023-10-23 21:27
实操经验专题
经验分享
探索流批一体结构下的实时
数仓
|0x00越来越高的时效性要求在数据仓库的建设过程里,我们一直秉承着“离线先行”的方针,因为离线的技术栈非常成熟,开发起来很快,同时监控工具也做的比较完善,出了问题能及时发现、及时处理。过去我们处理实时的需求,一般都会转化为准实时的模式,例如分钟级调度,但毕竟它不是完全的实时模式,不过绝大多数情况下,应对业务诉求也是足够了。但随着Flink为代表的新一代框架的出现,很多业务已经不再满足于做准实时的
晓阳的数据小站
·
2023-10-23 12:09
数仓
架构对比
快手
数仓
架构image.png规模image.png快手目前集群规模有1500台左右,作业数量大约是500左右,日处理条目数总共有1.7万亿,峰值处理条目数大约是3.7千万。
与AI零距离
·
2023-10-22 13:43
数据部门起步阶段需要建立
数仓
么?
之前我写了一篇关于数据中台和
数仓
的关系的文章,里面理清了
数仓
和中台的关系。后面我了解到更通用的技术词汇去表达数据管理的两种方式:数据联邦和数据仓储。
祝威廉
·
2023-10-21 17:08
元数据管理-技术元数据解决方案
概念元数据是描述企业数据相关的数据,指在IT系统建设过程中所产生的有关数据定义,目标定义,转换规则等相关的关键数据,包括对数据的业务、结构、定义、存储、安全等各方面对数据的描述元数据是
数仓
建设环节中不可缺少的一部分
热忱 ㅤ ㅤ
·
2023-10-21 13:18
大数据笔记
大数据测试 -
数仓
测试
数仓
分层设计标准
数仓
分为ODS,DWD,DIM,DWS,ADS等,每一层都有自己的含义:ODS:存储原始业务数据,数据原封不动同步到到ODS,不做任何修改,并且备份,备份时可以压缩;DWD:数据清洗,
测试界的飘柔
·
2023-10-21 10:11
软件测试
职场经验
IT
数据仓库
大数据
数据挖掘
程序人生
自动化测试
软件测试
面试
请查收云原生虚拟
数仓
PieCloudDB 十月动态
PieCloudDBDatabase最新动态PieCloudDB压缩效率得到提升为了节省存储空间,降低用户存储费用,PieCloudDB在压缩率上不断优化,包括:对HLL(HyperLogLog)支持游程编码(RunLengthEncoding)支持ZSTD(Zstandard)为默认压缩算法支持DictEncoding、DeltaEncoding等编码方法,降低文件大小PieCloudDB将在未
OpenPie|拓数派
·
2023-10-21 08:57
PieCloudDB
Database
拓数派
OpenPie|拓数派
云原生
数据仓库
技术揭秘:从双11看实时
数仓
Hologres高可用设计与实践
在这场大考中,一站式实时
数仓
Hologres以每秒11.2亿条的高速写入,和每秒1.1亿次的查询峰值(包含点查和OLAP查询),交出了满意的答卷,稳定高效地支撑了阿里巴巴双11核心应用场景。
阿里云Hologres
·
2023-10-21 05:45
分布式存储 vs. 全闪集中式存储:金融数据仓库场景下的性能对比
例如,不少金融机构使用
数仓
业务系统,为公司高层提供日常经营报表,同时支持监管报送等应用。该业务系统通常是I/O密集型应用,对IT基础架构的性能有极高的要求。
志凌海纳SmartX
·
2023-10-20 14:34
分布式
金融
数据仓库
超大型纸业品牌“清风”也用上 Apache SeaTunnel 啦!
在那时,我们用的是Oracle视图来做
数仓
。如果一个视图不
SeaTunnel
·
2023-10-20 07:33
apache
数据库
大数据
Hive3.x
数仓
开发
文章目录一、
数仓
仓库概念二、数据仓库分层架构ODS\DW\DA(ADS)ETL\ELT三、ApacheHive概述为什么使用HiveHive和Hadoop关系四、ApacheHive架构、组件组件五、ApacheHive
_七七
·
2023-10-20 01:24
大数据数仓
数据仓库
学习
hive
Apache Flink X Apache Doris 构建极速易用的实时
数仓
架构
本篇内容主要分为四个部分:实时
数仓
需求和挑战基于ApacheDoris和ApacheFlink构建实时
数仓
用户案例与最佳实践分享新版本特性点击查看直播回放和演讲PPT一、实时
数仓
需求和挑战在数据流的角度上
Apache Flink
·
2023-10-20 00:33
Flink
大数据
实时计算
apache
flink
架构
大数据
hadoop
数仓
系列 | Flink 窗口的应用与实现
主要内容如下:1.整体思路与学习路径2.应用场景与编程模型3.工作流程与实现机制Tips:点击「阅读原文」可查看更多
数仓
系列直播视频~整体思路与学习路径当我们碰到一项新的技术时,我们应该
Apache Flink
·
2023-10-20 00:33
【转】数据库、数据湖、数据仓库、湖仓一体、智能湖仓,分别都是什么鬼?
这套架构,以数据湖为中心,把数据湖作为中央存储库,再围绕数据湖建立专用“数据服务环”,环上的服务包括了
数仓
、机器学习、大数据处理、日志分析,甚至RDS和NOSQL服务
万州客
·
2023-10-19 22:56
物流仓储晋级智能可视化远程遥控,和低效管理说再见
通过了解得知当前多
数仓
储管理仍旧存在很多困惑:企业如何减少纸张作业,实现无纸化高效办公?如何处理多帐数据对接?解决数据实时性?叉车司机如何定位?如何防止人员原因造成的仓库发货、领料失误?
图扑可视化
·
2023-10-19 13:50
智慧物流
数据可视化
数字孪生
智慧城市
智慧仓储
【数据仓库】hadoop生态圈与数据仓库
TDS5.2.抽取过程5.3.转换与装载过程5.4.过程管理和自动化调度5.5.数据目录(或者称为元数据管理)5.6.查询引擎和SQL层5.7.用户界面本文主要讨论:关系型数据库拓展的瓶颈cap理论想了解
数仓
需要哪些能力以及这些能力靠哪些大数据技术实现
roman_日积跬步-终至千里
·
2023-10-19 11:12
数据仓库
数据仓库
hadoop
大数据
大数据
数仓
搭建-大数据用户画像推荐系统搭建
一确定需求我把需求主要分为三大类一离线数据报表需求二实时观查数据走向需求三算法需求二确定系统架构根据需求我们目前有几种大数据架构可以供参考流式架构流式架构非常激进,直接拔掉了批处理,数据全程以流的形式处理,所以在数据接入端没有了ETL,转而替换为数据通道。经过流处理加工后的数据,以消息的形式直接推送给了消费者。虽然有一个存储部分,但是该存储更多的以窗口的形式进行存储,所以该存储并非发生在数据湖,而
老姜的数据江湖
·
2023-10-18 21:10
大数据
大数据数仓搭建
大数据用户画像
大数据架构
大数据推荐算法
Flink SQL 时区
大数据技术AIFlink/Spark/Hadoop/
数仓
,数据分析、面试,源码解读等干货学习资料95篇原创内容公众号TIMESTAMPvsTIMESTAMP_LTZTIMESTAMP类型TIMESTAMP
hyunbar
·
2023-10-18 17:38
Flink
大数据
分布式
java
大数据
Databend 开源周报第 115 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2023-10-18 13:59
开源
数仓
建模分层理论
数仓
的建模或者分层,其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话,所有的划分都是为了更好的管理。小到JVM内存区域的划分,JVM中堆空间的
陈二狗想吃肉
·
2023-10-18 13:49
精彩回顾 | Apache Flink Meetup · 北京站(附PPT下载)
9月21日下午,2019年度最后一场Meetup在帝都圆满落幕,来自阿里巴巴、小米、贝壳找房的资深专家们现场分享了小米的Flink应用实践、贝壳找房的实时
数仓
建设、Flink资源管理机制以及FlinkPythonAPI
Apache Flink
·
2023-10-18 11:46
数仓
建设(三)
4)累积快照事实表多个业务过程联合分析而构建的事实表,如采购单的流转环节。用于分析事件时间和时间之间的间隔周期。少量的且当前事务型不支持的,如关闭、发货等相关的统计。4.DWS公共汇总层设计规范数据仓库的性能是数据仓库建设是否成功的重要标准之一。聚集主要是通过汇总明细粒度数据来获得改进查询性能的效果。通过访问聚集数据,可以减少数据库在响应查询时必须执行的工作量,能够快速响应用户的查询,同时有利于减
未来在这儿
·
2023-10-18 06:10
数仓
大数据
数据库
数据仓库
数仓
建设(一)
想了想,我们的
数仓
的建设是基于大数据平台进行的,中间也经历了比较曲折的过程。每个行业都有自身的业务区别,不过很多还是比较相通的。
未来在这儿
·
2023-10-18 06:39
数仓
BigData
SQL
java
大数据
开发语言
数据仓库
数仓
建设(二)
1)指标梳理指标口径的不一致使得数据使用的成本极高,经常出现口径打架、反复核对数据的问题。在数据治理中,我们将需求梳理到的所有指标进行进一步梳理,明确其口径,如果存在两个指标名称相同,但口径不一致,先判断是否是进行合并,如需要同时存在,那么在命名上必须能够区分开。2)指标管理指标管理分为原子指标维护和派生指标维护。原子指标:选择原子指标的归属产线、业务板块、数据域、业务过程选择原子指标的统计数据来
未来在这儿
·
2023-10-18 06:32
数仓
java
前端
数据库
BI工具-DataEase(2) 基础使用
先讲下工具栏,分别是仪表盘,数据集,数据源,模板市场等等.和大多数的BI工具一样,首先配置的就是数据源1.数据源:支持OLTP,OLAP,
数仓
/数据湖,我们这边还是使用的mysql新建mysql数据源,
大曲·蜗牛
·
2023-10-17 18:53
大数据
基于大模型的数据血缘异常归因分析
本期黑客松共吸引了近50位选手参赛,有的在实时
数仓
领域显神通,有的则再次请出了大模型。这些小组都有个共同点——基于数据云平台DataSimba的元数据域“搞事情”。
奇点云
·
2023-10-17 13:49
奇点云
元数据
黑客马拉松
2023年-
数仓
-【时间维度表】-年、周、节假日
建表语句,如下:DROPTABLEIFEXISTSdim_date_info;CREATEEXTERNALTABLEdim_date_info(`date_id`STRINGCOMMENT'日',`week_id`STRINGCOMMENT'周ID',`week_day`STRINGCOMMENT'周几',`day`STRINGCOMMENT'每月的第几天',`month`STRINGCOMMEN
IT小强哥
·
2023-10-17 05:25
数据库
大数据
mysql
hive
上一页
9
10
11
12
13
14
15
16
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他