E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓分层架构
Framework -- 系统架构
二、Android系统架构1.首先先看下Google官方提供的经典
分层架构
图:Linux内核层HAL层(硬件抽象层)系统运行库层(系统Native库和Android运行时环境)Framwork层(Java
郑子
·
2023-10-27 17:12
Android:系统架构篇
系统架构
从数据仓库到数据中台,终于有人说清楚了
作者简介:王春波,《高效使用Greenplum:入门、进阶和数据中台》作者,“数据中台研习社”号主,十年数据开发从业者,资深零售
数仓
项目实施专家。
蚂蚁_8173
·
2023-10-27 12:25
又是第一!GBASE南大通用蝉联中国分析型数据库管理系统市场TOP1
在分析型数据库市场,GBASE自主研发的分布式逻辑
数仓
GBase8aMPPCluster与国外主流的数据仓库产品在金融、电信等领域同台竞技,技术实力领先,已在人民银行、中国农业银行总行、招商银
GBASE数据库
·
2023-10-27 08:47
GBASE荣誉
数据库
GBASE南大通用
GBASE
万字详解数据质量那些事儿
在数据仓库建设的过程当中,大家是否会有这样的疑问:1)
数仓
分层模型是否需要严格遵守2)照本宣科建设的
数仓
貌似不好用3)如何评判一个
数仓
建设的质量好坏4)我的数据仓库还能做怎样的升级我们该如何解决这些问题
大数据兵工厂
·
2023-10-27 02:27
大数据
数据仓库
big
data
数据库
大数据
详解如何在
数仓
中管理元数据
大家好,元数据管理是企业数据治理的基础,是数据仓库建设的关键。作为一名数据人,首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念,介绍元数据管理在数据仓库的地位、场景及实践工具。01什么是元数据管理1、什么是元数据?元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(dataaboutdata)。抽象的描述:一组用于描述数据的数据组,该数据组的一切信息都描述了该
大数据技术派
·
2023-10-27 02:54
数据仓库
数据库
大数据
编程语言
python
「领域驱动」了解
分层架构
及演化过程
分层架构
是运用最为广泛的架构模式,几乎每个软件系统都需要通过层(Layer)来隔离不同的关注点(ConcernPoint),以此应对不同需求的变化,使得这种变化可以独立进行;此外,
分层架构
模式还是隔离业务复杂度与技术复杂度的利器
RobynnD
·
2023-10-26 15:52
Clickhouse实时
数仓
建设
今天,笔者就为大家介绍如何使用Clickhouse来构建实时
数仓
,来满足一些实时性要求较高的使用场景。
程序猿小乙
·
2023-10-26 12:09
java
clickhouse
实时
数仓
Hologres 新一代弹性计算组实例技术揭秘
随着实时
数仓
在业务生产系统的普及,资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。
阿里云云栖号
·
2023-10-26 12:44
云栖号技术分享
大数据
云计算
人工智能
阿里云
阿里云实时
数仓
Hologres年度发布,解读
数仓
新趋势
简介:阿里云实时
数仓
Hologres年度发布,解读
数仓
新趋势。
阿里云云栖号
·
2023-10-26 12:43
云栖号技术分享
阿里云
big
data
数据仓库
技术解读:实时
数仓
Hologres如何支持超大规模部署与运维
通过该评测,证明了阿里云实时
数仓
Hologres能够作为数据仓库和大数据平台的基础设施,可以满足用户建设大规模数据仓库和数据平台的需求,具备支撑关键行业核心业务数据平台的能力。
阿里云云栖号
·
2023-10-26 12:43
云栖号技术分享
运维
数据库
big
data
技术分享:从双11看实时
数仓
Hologres高可用设计与实践
简介:本文将会从阿里巴巴双11场景出发,分析实时
数仓
面临的高可用挑战以及针对性设计。2021年阿里巴巴双11完美落下为帷幕,对消费者来说是一场购物盛宴,对背后的业务支撑技术人来说,更是一场年度大考。
阿里云云栖号
·
2023-10-26 12:43
云栖号技术分享
big
data
数据仓库
分布式
CCO x Hologres:实时
数仓
高可用架构再次升级,双11大规模落地
简介:本文将会介绍今年是如何在去年基础上进行实时
数仓
高可用架构升级,并成功大规模落地双11。
阿里云云栖号
·
2023-10-26 12:43
云栖号技术分享
架构
big
data
人工智能
【附下载】实时
数仓
架构设计与选型
这是彭文华的第99篇原创好几位朋友在后台留言,说要看看各大厂都是咋玩实时
数仓
的。其实,实时
数仓
和离线
数仓
在模型设计的时候是一样一样的,只是需要计算引擎和存储不太一样而已。
大数据架构师Evan
·
2023-10-26 12:12
队列
flink
storm
xhtml
数据分析
实时
数仓
Hologres 如何支持超大规模部署与运维
阿里云实时
数仓
Hologres(原阿里云交互式分析)在报表任务、交互式查询、压力测试、稳定性等方面通过了中国信通院分布式分析型数据库性能评测(大规模),并以8192个节点刷新了通过该评测现有参评的规模记录
阿里云技术
·
2023-10-26 12:41
运维
big
data
数据仓库
新一代Hologres实时
数仓
大揭秘
看支撑阿里内外部业务场景实时
数仓
是如何运作的?云计算情报局带您解密实时
数仓
!作者:金晓军(仙隐),阿里云资深技术专家,大数据领域从业10年,现从事交互式分析引擎Hologres设计与研发工作。
阿里云技术
·
2023-10-26 12:11
【Hologres】基于Hologres实时离线一体化
数仓
建设实践
0、案例业务背景在互联网大潮中,新东方在IT技术上也不断重构,持续投入大数据建设,研发大数据的相关技术和应用,从而快速而精准地响应业务需求,并用数据为集团各级领导提供决策依据。新东方的大数据应用主要包括两部分:企业应用端的业务场景(B端):包括交易,教学,人员等数据,数据规模为TB级。数据会被按照不同的条件和学校层级等,形成营收、教学、客服、财富人事等实时报表,为CRM系统的成千上万名业务顾问提供
Impl_Sunny
·
2023-10-26 12:39
#
案例精选
Hologres
教育行业
实时数仓
实时
数仓
Hologres
1.概述Hologres是阿里巴巴自主研发的一站式实时
数仓
引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(AdHoc
大数据开发工程师-宋权
·
2023-10-26 12:09
Hologres
big
data
数据库
数据仓库
实时
数仓
Hologres 【快速了解】
什么是实时
数仓
HologresHologres是阿里巴巴自主研发的一站式实时
数仓
引擎(Real-TimeDataWarehouse),支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL
一阵暖风
·
2023-10-26 12:38
数据仓库
数据库
数据挖掘
【Hologres】实时
数仓
Hologres揭秘:深度解析高效率分布式查询引擎-阿里云开发者社区介绍xxx实时
数仓
发展背景介绍xxx实时
数仓
1.0从2019年开始搭建,基于KuduOLAP引擎构建,前期承载业务不多,任务量不大,运行稳定
奋斗者ing
·
2023-10-26 12:08
大数据
人工智能
大数据实时(5)-Hologres实时
数仓
验证
目录:1、Hologres2、技术架构3、适用场景4、验证1、Hologres阿里的Hologres推出后,受到了很多关注,以几个方面的因素:1)Hologres作为MPP架构的一款大数据存储分析引擎,提供了很好的性能支撑;2)确实是解决了很多客户的问题,有一些大数据高并发的场景也能适用;3)是相较于ADB的产品,从官方资料方面,确实有很多的提升,但验证的结果如何,还是各有千秋;我们来看看官方的介
ly_zixuan
·
2023-10-26 12:08
大数据
软件架构
postgresql
数据库
big
data
从双11看实时
数仓
Hologres高可用设计与实践
在这场大考中,一站式实时
数仓
Hologres以每秒11.2亿条的高速写入,和每秒1.1亿次的查询峰值(包含点查和OLAP查询),交出了满意的答卷,稳定高效地支撑了阿里巴巴双11核心应用场景。
aliyunhologres
·
2023-10-26 12:37
技术原理解读
big
data
数据仓库
分布式
大数据
实时
数仓
-Hologres介绍与架构
本文是向大家介绍Hologres是一款实时HSAP产品,隶属阿里自研大数据品牌MaxCompute,兼容PostgreSQL生态、支持MaxCompute数据直接查询,支持实时写入实时查询,实时离线联邦分析,低成本、高时效、快速构筑企业实时数据仓库(Real-TimeDataWarehouse)。1.HSAP理念与产品首先介绍下大数据相关实时业务场景,一般有实时大屏、实时BI报表、用户画像和监控预
高阳很捷迅
·
2023-10-26 12:37
IT管理
数据分析
Hologres
HSAP
实时数据仓库
MaxCompute
2023 Datawhale数据分析实习面经
了解
数仓
吗?4.编程题:(1)两数之和(2)求根号2,误差在0.01之内(二分)5.sql题:(1)行去重(2)求每个用户某一列的最大值6.业务场景题100万经费,给用户发优惠卷--->拉新或者
深度之眼
·
2023-10-26 07:13
粉丝的投稿
人工智能干货
面试
数据分析
AnalyticDB for PostgreSQL 6.0 新特性介绍
ADBPG6.0版本大幅提升并发事务处理能力,更好的满足实时
数仓
场景,同时通过事务锁等优化,完
阿里云技术
·
2023-10-26 03:07
PostgreSQL
OLAP
Greenplum
尚硅谷大数据项目《在线教育之实时
数仓
》笔记003
视频地址:尚硅谷大数据项目《在线教育之实时
数仓
》_哔哩哔哩_bilibili目录第7章
数仓
开发之ODS层P015第8章
数仓
开发之DIM层P016P017P018P01901、node001节点Linux
upward337
·
2023-10-26 02:44
#
大数据数仓
大数据
实时数仓
flink
1024程序员节
我在叽里呱啦折腾 DolphinScheduler 的日子
前言“工欲善其事,必先利其器”在2019年进行
数仓
建设时,选择一款易用、方便、高效的调度系统被摆在非常突出的位置,感谢前同事马振洋同学和杨孟霏同学的付出,最终有缘选择了DolphinScheduler的前身
DolphinScheduler社区
·
2023-10-25 19:23
运维
数据库
java
大数据
编程语言
阿里云云原生一体化
数仓
— 数据建模新能力解读
2020年之前,DataWorks支持的是开发视角、自底向上、小步快跑,快速满足业务需求为首要目标的
数仓
构建模式,然而随着内部数据模型越来越多,线下评审流程越来越复杂,淘宝、天猫、盒马、菜鸟等多个数据仓团队开始和
阿里云技术
·
2023-10-25 14:35
大数据
云计算
阿里云
Doris
数仓
的4大特点
Doris是一款基于MPP技术的SQL分析型数据库系统,能够在海量数据的OLAP场景下提供毫秒级的查询响应性能。Doris的实现架构脱胎自ApacheImpala和GoogleMesa系统,并进行了大量的改造和优化,最终形成了今天大家看到的这款架构优雅、性能卓越、功能丰富、简单易用的OLAP数据库系统。0****1极简架构Doris从设计上来说,融合了GoogleMesa的数据存储模型、Apach
Elivis Hu
·
2023-10-25 11:44
数仓
1024程序员节
Databend 开源周报第 116 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2023-10-25 07:30
1024程序员节
搭建Springboot项目
SpringBoot官网首页:https://spring.io/projects/spring-boot/JavaEE
分层架构
JavaEE体系结构包括四层,从上到下分别是应用层、Web层、业务层、持久层
微风粼粼
·
2023-10-25 01:07
spring
boot
spring
java
商业
数仓
的搭建【转载】
商业
数仓
的目的是为了构建面向分析的集成化数据环境,为企业的决策提供支持(DecisionSupport)。
为祁
·
2023-10-24 23:21
Flink实时写入Apache Doris如何保证高吞吐和低延迟
借助海量数据,实时
数仓
在有效挖掘有价值信息、快速获取数据反馈、帮助企业更快决策、更好的产品迭代等方面发挥着不可替代的作用。
后季暖
·
2023-10-24 18:01
flink
apache
大数据
【数据仓库-零】数据仓库知识体系 ing
文章目录一.
数仓
基本概念二.离线
数仓
建设方法论三.etl流程四.
数仓
规范建设指南四.数据仓库架构五.数据可视化通过熟悉构建
数仓
整体的过程,可以系统的了解
数仓
构建理论:能够站在全局角度看
数仓
的运行架构,
数仓
执行流程
roman_日积跬步-终至千里
·
2023-10-24 16:41
数据仓库
数据仓库
实时
数仓
-Canal介绍
实时
数仓
中架构如下图:实时
数仓
架构图.jpg实时架构主要数据来源有3块日志文件(或设备上的心跳数据),由Flume或者Springboot程序直接写到kafka中接口API,使用程序调用接口业务数据库,
脆弱的天炎
·
2023-10-24 16:40
DDD实战(4):战略设计之系统上下文和限界上下文
首先,对战略设计的理论知识做一个浓缩性介绍;其次,分三节介绍“群买菜”的DDD战略设计,包括:本节介绍系统上下文定义、限界上下文识别;下节介绍“群买菜”限界上下文映射、系统
分层架构
;最后一节介绍群买菜“
深清秋
·
2023-10-24 15:19
微服务
软件工程
java
SpringBoot—分层结构
知识要点SpringBoot编程的
分层架构
SpringBoot服务端负载均衡集群部署架构SpringBoot客户端负载均衡集群部署架构SpringBoot编程的
分层架构
,三层分别为Controller控制层
m0_67391521
·
2023-10-24 10:44
java
java
后端
数仓
建设保姆级教程,离线和实时理论+实战)
文档大纲:一、
数仓
基本概念1.数据仓库架构我们在谈
数仓
之前,为了让大家有直观的认识,先来谈
数仓
架构,“架构”是什么?这个问题从来就没有一个准确的答案。
程序员的隐秘角落
·
2023-10-24 00:33
查询性能较 Trino/Presto 3-10 倍提升!Apache Doris 极速数据湖分析深度解读
在最初的概念里,数据仓库被定义为「一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策」,而数据湖最初是为了解决
数仓
无法存储海量且异构的数据而构建的集中式存储系统。
SelectDB技术团队
·
2023-10-23 22:46
apache
数据库
数据仓库
数据分析
数据挖掘
Apache Doris 1.1 特性揭秘:Flink 实时写入如何兼顾高吞吐和低延时
导读:随着数据实时化需求的日益增多,数据的时效性对企业的精细化运营越来越重要,使得实时
数仓
在这一过程中起到了不可替代的作用。
SelectDB技术团队
·
2023-10-23 22:45
apache
flink
大数据
本地
数仓
网络设备迁移实录
环境:本地机房深信服防火墙A8.0.75AF-2000-FH2130B-SCH3CS6520-26Q-SI交换机AVersion7.1.070,Release6326H3CIDC机房深信服防火墙B8.0.75AF-2000-FH2130B-SCH3CS6520交换机Bversion7.1.070,Release6530P02问题描述:本地机房H3CS6520交换机Avlan33,网段192.168
玩电脑的辣条哥
·
2023-10-23 21:27
实操经验专题
经验分享
探索流批一体结构下的实时
数仓
|0x00越来越高的时效性要求在数据仓库的建设过程里,我们一直秉承着“离线先行”的方针,因为离线的技术栈非常成熟,开发起来很快,同时监控工具也做的比较完善,出了问题能及时发现、及时处理。过去我们处理实时的需求,一般都会转化为准实时的模式,例如分钟级调度,但毕竟它不是完全的实时模式,不过绝大多数情况下,应对业务诉求也是足够了。但随着Flink为代表的新一代框架的出现,很多业务已经不再满足于做准实时的
晓阳的数据小站
·
2023-10-23 12:09
架构师涉及哪些知识体系
**系统架构:**理解不同类型的系统架构,如
分层架构
、微服务架构、事件驱动架构等,以及如何在系统中选择和设计适当的架构风格。2.
Robin罗兵
·
2023-10-23 06:12
开发语言
数仓
架构对比
快手
数仓
架构image.png规模image.png快手目前集群规模有1500台左右,作业数量大约是500左右,日处理条目数总共有1.7万亿,峰值处理条目数大约是3.7千万。
与AI零距离
·
2023-10-22 13:43
【车载开发系列】Autosar框架中的WatchDog
二.WatchDog原理三.WatchDog功能1)硬件支持看门狗2)软件支持的看门狗四.WatchDog检测目标五.AutoSar当中的看门狗六.WdgM的基本功能七.WdgM的
分层架构
1)WdgIf2
进击的横打
·
2023-10-22 12:38
车载开发
系统架构
软件工程
软件架构设计的4种原则和模式
软件架构设计的4种原则和模式1.
分层架构
分层架构
分析2.事件驱动架构调停者拓扑代理者拓扑事件驱动架构分析3.微内核架构微内核架构分析4.微服务架构微服务架构分析本文来自FiratAtagun的《架构演化中的软件设计原则
Vandoer
·
2023-10-22 11:09
架构设计
软件架构
DDD微服务设计和开发——实践篇
本文包括三部分内容:第一部分讲述领域驱动设计基本知识,包括:
分层架构
、服务视图、数据视图和领域事件发布和订阅等;第二部分讲述微服务设计方法、过程、模板、代
紫罗兰盛开
·
2023-10-22 08:40
DDD
数据部门起步阶段需要建立
数仓
么?
之前我写了一篇关于数据中台和
数仓
的关系的文章,里面理清了
数仓
和中台的关系。后面我了解到更通用的技术词汇去表达数据管理的两种方式:数据联邦和数据仓储。
祝威廉
·
2023-10-21 17:08
元数据管理-技术元数据解决方案
概念元数据是描述企业数据相关的数据,指在IT系统建设过程中所产生的有关数据定义,目标定义,转换规则等相关的关键数据,包括对数据的业务、结构、定义、存储、安全等各方面对数据的描述元数据是
数仓
建设环节中不可缺少的一部分
热忱 ㅤ ㅤ
·
2023-10-21 13:18
大数据笔记
大数据测试 -
数仓
测试
数仓
分层设计标准
数仓
分为ODS,DWD,DIM,DWS,ADS等,每一层都有自己的含义:ODS:存储原始业务数据,数据原封不动同步到到ODS,不做任何修改,并且备份,备份时可以压缩;DWD:数据清洗,
测试界的飘柔
·
2023-10-21 10:11
软件测试
职场经验
IT
数据仓库
大数据
数据挖掘
程序人生
自动化测试
软件测试
面试
请查收云原生虚拟
数仓
PieCloudDB 十月动态
PieCloudDBDatabase最新动态PieCloudDB压缩效率得到提升为了节省存储空间,降低用户存储费用,PieCloudDB在压缩率上不断优化,包括:对HLL(HyperLogLog)支持游程编码(RunLengthEncoding)支持ZSTD(Zstandard)为默认压缩算法支持DictEncoding、DeltaEncoding等编码方法,降低文件大小PieCloudDB将在未
OpenPie|拓数派
·
2023-10-21 08:57
PieCloudDB
Database
拓数派
OpenPie|拓数派
云原生
数据仓库
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他