数仓分层架构

大数据常见应用场景及架构改进

它和传统的数仓不太一样。因为传统数仓它只能解决中小规模的数据存储与分析问题。大数据这一块要能承接海量的数据。我们来看一下它们的基本架
桥路丶·2023-08-07 02:29

Spring框架基础配置

框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件，同时为J2EE应用程序开发提供集成的框架。Spring
Acton_zhang·2023-08-06 17:10

Doris Sequence 列

ApacheDoris在约苗数据平台的实时数仓建设实践dorissequence列sequence列目前只支持Uniq模型。
胖胖胖胖胖虎·2023-08-06 11:05

spring cloud 阿里巴巴

微服务架构演变过程传统单体架构=》分布式架构=》soa面向服务架构=》微服务架构传统单体架构传统单体架构就是单点应用，也就是在早期开发学习的ssm或ssh整合项目采用分层架构模式、数据库访问层、业务逻辑层
BilIitycu·2023-08-06 06:50

数据仓库分层设计

美团配送数据治理实践美团配送数据治理实践-美团技术团队数据仓库分层没有绝对的规范，适合的就是最好的，特别是企业已经有一个初版的数仓的时候，需要做好改造成本和可理解性之间的平衡。
javastart·2023-08-05 15:06

spring

spring包括Spring框架是一个分层架构，由7个定义良好的模块组成。
王泽辉_95fa·2023-08-05 12:37

【hive经典指标，离线数仓指标，ADS层指标分析】最近7日内连续3日下单用户数

1.建表语句DROPTABLEIFEXISTSads_order_continuously_user_count;CREATEEXTERNALTABLEads_order_continuously_user_count(`dt`STRINGCOMMENT'统计日期',`recent_days`BIGINTCOMMENT'最近天数,7:最近7天',`order_continuously_user_c
青云游子·2023-08-05 05:03

风很大的“云数仓”到底怎么用？三家企业交出答卷

为了解决上述问题，云原生数仓（以下简称云数仓）应运而生。与传统方案不同的是：云数仓借助于云平
字节数据平台·2023-08-04 22:23

关于数据仓库那些事 - 数据质量和数仓主题

数仓主题是什么数据仓库主题是指透过“上帝视角”将企业不同业务流程信息进行汇总、分类然后对其进行分析利用的一个抽象化的概念。也是指企业中某一分析领域具体的分析对象，这样一来，每
派可数据BI可视化·2023-08-04 17:16

大数据开发：数据仓库建模方法与模型

数仓建模方法数据仓库中几种经典的数据模型，包括关系建模、维度建模、DataVault模型。在实际工作中，通常会根据业务场景选择一种或几种模型。1、关系建模关系建模，是数据仓库之父In
成都加米谷大数据·2023-08-04 13:24

基于 Flink & Paimon 实现 Streaming Warehouse 数据一致性管理

本篇内容主要分为四个部分：背景方案设计当前进展未来规划点击查看原文视频&演讲PPT一、背景早期的数仓生产体系主要以离线数仓为主，业务按照自己的业务需求将数仓分为不同的层次，例如DWD、DWS、ADS等。
Apache Flink·2023-08-04 11:03

实时数仓分层介绍

ODS:原始数据，日志和业务数据。可通过Kafka进行收集。DWD:根据数据对象为单位进行分流，比如订单、页面访问等等。可存储在Kafka中。DIM:维度数据。可存储在HBase中。DWM:对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。DWS:根据某个主题将多个事实数据轻度聚合，形成主题宽表。可存储在Doris、ClickHouse、Ela
csdn-延·2023-08-03 20:21

x仔的北漂实习日记-day01-02

负责的主要是某公司的日志采集系统，我负责的就是离线日志的采集和分析（之前学的是数仓，现在这个还用不到数仓，有点小失望，后续慢慢在看），而且
kiritobryant·2023-08-03 14:09

数据资产治理：元数据采集那点事

在早期的采集系统，我们主要面向数仓，通过“API直连方式”采集Hive/Mysql表的元数据。随着业务的快速发展，数据运营、成本治理的需求越来越强烈。
傅一平·2023-08-03 11:11

计算机网络为何需要分层架构？

多点头发，少点代码我是龙叔，一个分享互联网技术和心路历程的大叔本文已经收录至我的GitHub,欢迎大家踊跃star和issues。https://github.com/midou-tech/articles最近很忙，写技术文章还是很花费时间的。但是，就在前几天出了一篇TCP粘包问题的文章(TCP粘包，难道说这是一个伪命题？？？)，反映不错。本来计划计算机网络文章慢慢的出，现在看来必须的加快速度了。
龙跃十二·2023-08-03 00:33

离线数仓中，为什么用两个flume，一个kafka

实时数仓中，为什么没有零点漂移问题？因为flink直接取的事件时间用kafka是为了速度快，并且数据不丢，那为什么既用了kafkachannel，也用了kafka，而不只用kafkachannel呢？
青云游子·2023-08-02 17:04

湖仓一体概念快问快答

“湖仓一体”是一种新的架构模式，湖仓一体是将数据湖的灵活性和数仓的易用性、规范性、高性能结合起来的融合架构，无数据孤岛。
偶数科技·2023-08-02 16:17

拓数派入选中国信通院“铸基计划”「高质量数字化转型产品及服务全景图」...

拓数派凭借在数据计算领域的卓越表现以及突破性技术创新，旗下首款数据计算引擎PieCloudDB虚拟数仓成功入选中国信通院“铸基计划”「高质量数字
OpenPie｜拓数派·2023-08-02 15:53

拓数派入选中国信通院 “铸基计划”「高质量数字化转型产品及服务全景图」

拓数派凭借在数据计算领域的卓越表现以及突破性技术创新，旗下首款数据计算引擎PieCloudDB虚拟数仓成功入选中国信通院“铸基计划”「高质量数字
OpenPie｜拓数派·2023-08-02 15:23

快速开始 PieCloudDB Database：管控平台权限系统

2.账户实体PieCloudDB以账户实体的形式是账户在数仓实例中具象体现，每一个PieCloudDB账户都拥有四类账户实体，如下图所示。其中：用户实体代表该账户下所有附
OpenPie｜拓数派·2023-08-02 15:22

数仓虚拟化技术：PieCloudDB 通过中国信通院 2023 「可信数据库」性能评测的强力支撑...

“可信数据库”是国内首个数据库的评测体系，被业界广泛认可为产品能力重要的衡量标准之一。PieCloudDB在该评测中展现出卓越的数据处理速度、稳定性和可扩展性，为用户提供了强大的数据分析和查询能力。6月15~16日，中国信通院2023上半年“可信数据库”评测专家评审会圆满结束，经过现场测试、产品资料审核、测试报告审核、质询与答疑、集中评议等多个评审环节，共计28家企业的33款产品通过本次评审。拓数
OpenPie｜拓数派·2023-08-02 15:22

拓数派，虚拟数仓通过信通院可信数据库评测第一家

中国信通院正式公布了第16批可信数据库测评的结果，拓数派旗下数据计算系统的首款计算引擎PieCloudDB虚拟数仓，在IO密集型任务、CPU密集型任务、报表任务、分析型任务、交互式查询、混合
OpenPie｜拓数派·2023-08-02 15:52

【PostgreSQL 数据库技术峰会（成都站）】云原生虚拟数仓 PieCloudDB Database 的架构和关键模块实现...

2023年6月17日，中国开源软件推进联盟PostgreSQL分会在成都举办了数据库技术峰会。此次峰会以“新机遇、新态势、新发展”为主题，结合当下信创热潮、人工智能等产业变革背景，探讨PostgreSQL数据库在这些新机遇下的发展前景。峰会邀请众多行业大咖、学术精英、技术专家、技术爱好者等参加本次盛会，分享PostgreSQL数据库未来的发展机遇、新技术和新方向，推动PostgreSQL在中国的发
OpenPie｜拓数派·2023-08-02 15:52

云时代已至，新一代数据分析平台是如何实现的？

PieCloudDB产品总监陈金豹也受邀在大会中发表演讲《云原生虚拟数仓
OpenPie｜拓数派·2023-08-02 15:21

快速开始 PieCloudDB Database：PieProxy 外部接入工具演示

同一账户下的用户可通过处于开启状态的虚拟数仓，使用JDBC、ODBC或Postgre
OpenPie｜拓数派·2023-08-02 15:21

拓数派受邀参加由 Google 举办的 “深度探索 LLM / Generative AI 的生态与应用” 主题活动

冯雷从虚拟数仓、多模数据和数据网络等几方面，分享了其本
OpenPie｜拓数派·2023-08-02 15:51

【PostgreSQL 数据库线下沙龙（武汉站）】PieCloudDB：云原生分布式虚拟数仓的诞生之旅...

2023年6月3日，开源软件联盟PostgreSQL中文社区在武汉举办了技术沙龙活动。本次活动主题围绕未来数据库展开讨论和分享。通过探讨未来数据库的概念和特点，为智能化时代的发展提供更多的支持和服务。同时，通过探讨数据库和AI技术的共生共荣，推动数字经济的发展和创新，开创未来数据库的新篇章。拓数派作为PostgreSQL伙伴社区，也受邀参加本次活动。拓数派（OpenPie）CTO郭罡在活动中发表了
OpenPie｜拓数派·2023-08-02 15:51

PieCloudDB Database：云原生分布式虚拟数仓的诞生之旅

杭州拓数派科技发展有限公司（OpenPie）的旗舰产品PieCloudDBDatabase是一款云原生分布式虚拟数仓。PieCloudDB通过多种创新性技术将物理数仓整合到云原生数据计算平台。
OpenPie｜拓数派·2023-08-02 15:21

云上 Index：看「简墨」如何为云原生打造全新索引

拓数派首款数据计算引擎PieCloudDB是一款全新的云原生虚拟数仓。
OpenPie｜拓数派·2023-08-02 15:20

pyspark_自定义udf_解析json列【附代码】

自定义函数实现大数据并行计算整体流程案例代码运行结果：案例代码：代码地址：代码一、背景：车联网数据有很多车的时序数据，现有一套云端算法需要对每一辆车历史数据进行计算得到结果，每日将全部车算一遍存到hive数仓中二
SeafyLiang·2023-08-02 15:46

【Spring Cloud一】微服务基本知识

系列文章目录微服务基本知识系列文章目录前言一、系统架构的演变1.1单体架构1.2分层架构1.3分布式架构1.4微服务架构1.5分布式、SOA、微服务的异同点二、CAP原则三、RESTfulRESTful
王卫——David·2023-08-02 13:36

即席查询-Kylin

我们在日常的数仓建模中，通常都会生成很多指标供用户决策，这些指标通常都是确定的、指标算法相对稳定、指标需要长期使用。但是通常用户还需要满足他的一些突发奇
小王是个弟弟·2023-08-02 10:09

Databend 开源周报第 104 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-08-02 07:55

系统架构设计师-软件架构设计（6）

目录一、物联网分层架构二、大数据分层架构三、基于服务的架构（SOA）1、SOA的特征2、服务构件与传统构件的区别四、WebService（WEB服务）1、WebServices和SOA的关系五、REST
张瑞东·2023-08-02 06:05

多事务事实表实践

一：企业级数仓多事务事实表的重要性整个企业级的数据仓库，从表的性质来分，有维度表和事实表，事务表又分为多事务事实表，累积快照事实表，周期型快照表，这些不同种类的事实表，其实在数仓里面都扮演者不同的角色。
愤怒的谜团·2023-08-01 13:10

架构设计之：分布式分层

亿级流量平台分层架构访问层解决流量接入问题（LVS、Nginx）接口
简书的猪队友·2023-08-01 05:15

当 Spark 任务出现数据倾斜的问题时该如何处理呢？

前言最近一位数仓同学问我，当Spark任务出现数据倾斜的问题时该如何处理呢？那么今天就来讲一下遇到了数据倾斜问题时处理的方式方法。
笑看风云路·2023-07-31 15:10

「Hive进阶篇」详解存储格式及压缩方式

一、前言hive优化除了有hql语句逻辑优化，hql参数调优等等，还有一个不起眼的细节容易被忽视掉，那便是hive数仓模型表的存储格式和压缩方式，hive底层数据是依托在hadoop，以HDFS文件存储在集群上的
大数据阶梯之路·2023-07-31 00:38

数仓建模—宽表的设计

宽表的设计其实宽表是数仓里面非常重要的一块，前面我们介绍过了维度表事实表，今天我们介绍一下宽表，前面我们说过了数仓是分层的，这是技术进步和时代变化相结合的产物，数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发
大数据技术派·2023-07-30 10:48

week1已学内容总结

第一章Android基础入门Android简介通信技术1G2G3G4G5GAndroid发展历史android发展史1.pngandroid发展史2.pngAndroid体系结构Android系统采用分层架构
Thestarxc·2023-07-30 06:42

数据仓库理论

一、数仓简介1、历史演进1）数据仓库最早可以追溯到20世纪70年代，希望将业务处理系统和分析处理系统分成不同的层次；2）1991年BillInmon在《BuildingtheDataWarehouse》
莫待花无空折枝·2023-07-29 14:55

大数据-数仓-数据采集-业务数据（二）：全量同步采集【MySQL＜--＞DataX(全量)＜--＞HDFS】【每日全量：每天都将业务数据库中全部数据同步到数据仓库，是保证两侧数据同步的最简单方式】

DataX源码地址：GitHub-alibaba/DataX:DataX是阿里云DataWorks数据集成的开源版本。一、第1章DataX介绍1.1DataX概述1.介绍：DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（Mysql、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。2.特点：①DataX侧
u013250861·2023-07-29 08:12

关于数据中台的思考与总结

关于数据中台的思考与总结目录关于数据中台的思考与总结数据中台数据汇聚数据开发智能运维数据体系数据资产管理数据服务体系离线平台苏宁实时平台美团点评bilibili网易离线数仓与实时数仓从0建设离线数仓区别数据中台解决方案零售行业原文地址
akenseren·2023-07-28 21:50

数据隔离与数仓分层（大数据）

二、数据隔离方法三、数仓分层数仓分层通过数据分层管控数据质量，需要对数据清洗等操作，不必改一次业务就需要重新接入数据，每一层数据都是单独的作用，同时规范数据分层，减少业务开发、直接抽取数据。
你的负卿是我·2023-07-28 20:49

数仓搭建第三步——建立规范

建立相关规范包括但不限于表名字段、sql、安全、测试、报警、依赖、建模等规范1数仓表概览管理2数仓表明细信息管理3数仓表依赖关系管理4指标字典管理5表名：ods:ods_原始表名_更新频率增量/全量_是否分区例
数据咩·2023-07-28 18:17

数仓搭建第四步——主题域划分

那么数仓的主题也是这个意思，用来概括公司某一类业务或者是某一种渠道等。为什么要给数仓划分主题呢，这要从数仓的整体架构和方法论去谈。人们做一件事一段时间后都会针对某一类事情进行总结。
数据咩·2023-07-28 18:46

数仓搭建第二步——根据第一步招揽相关人员

这一步对数据团队来说很关键，数据团队的领导者往往由企业的研发总监或者老板直接招揽，但往往有可能招聘者不懂数据，或者还不清楚自己要什么。所以第一步很重要，在明确自己的目的后，再去招揽人才。数据团队的领导者一般需要具备的条件：1.了解相关业务，知道公司主营业务的营销模式和业务形态2.熟悉现有数据技术和相关开发语言3.具有很好的协调沟通能力4.对数据架构，建模，清洗，治理，落地等步骤都有所了解和实践5.
数据咩·2023-07-28 18:16

大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓

前言本文隶属于专栏《大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据理论体系姊妹篇《分布式数据模型详解：OldSQL=＞NoSQL=＞NewSQL》《分布式计算模型详解：MapReduce、数据流、P2P、RPC、Agent》《大数据存储架构详解：数据仓库、数据集市、数据湖、数据网格、湖仓一体》《大数据处理架构详解：La
Shockang·2023-07-28 15:34

浅谈sealos及使用sealos4.0部署Kubernetes（K8s）高可用集群

sealos是什么sealos是以kubernetes为内核的云操作系统发行版早期单机操作系统也是分层架构，后来才演变成linuxwindows这种内核架构，云操作系统从容器诞生之日起分层架构被击穿，未来也会朝着高内聚的
男孩李·2023-07-28 10:30

clickhouse分布式查询降级为本地查询

在基于clickhouse做类数仓建模时通常的做法是在本地创建物化视图，然后使用分布式表做代理对外提供服务。
小王是个弟弟·2023-07-28 06:47
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他