数仓分层架构

从数仓到数据中台，谈技术选型最优解

文章摘自https://mp.weixin.qq.com/s?__biz=MzI4NTA1MDEwNg==&mid=2650787725&idx=1&sn=673a0ac485e776dcd51667549f08628a&chksm=f3f97a18c48ef30e7adc3fe6c34c7fc644edde95443997188514742417eb4b7d0d1bad3f4baa&scene=
时光漫步de大数据之路·2023-06-12 05:26

09 | 中台：数字转型后到底应该共享什么？

在上一篇文章中我们了解了分层架构的设计思想，并提到了这种设计思想对中台建设十分有利，那么今天我就来讲一讲中台。中台是数字化转型的一个热门话题。继阿里提出中台概念后，很多人又提出了各种各样的中台。
-停泊·2023-06-12 04:41

08 | 微服务架构模型：几种常见模型的对比和分析

在上一篇文章中我重点介绍了DDD分层架构，同时我也提到了微服务架构模型其实还有好多种，不知道你注意到了没？这些架构模型在我们的实际应用中都具有很高的借鉴价值。
-停泊·2023-06-12 04:11

数据仓库为什么要分层 ? 怎么分层?

1序说到数据仓库,大家应该都有一定的了解,越来越多的企业在做数字化转型,业务数据化,数据业务化,数据仓库是其中必不可少的一环.在数仓中有一个很基础、重要,但又很容易被忽略的内容,那就是数据仓库中的数据分层
塔城就是个弟弟·2023-06-12 01:24

MySQL分层架构分析

名词解释数据库:数据库(DataBase简称DB)就是信息的集合或者说数据库是由数据库管理系统管理的数据的集合。数据库管理系统:数据库管理系统(DatabaseManagementSystem简称DBMS)是一种操纵和管理数据库的大型软件，通常用于建立、使用和维护数据库。数据库系统:数据库系统(DataBaseSystem，简称DBS)通常由软件、数据库和数据管理员(DBA)组成。数据库管理员:数
静看º一季花开花落·2023-06-11 16:34

快速开始 PieCloudDB Database：数据实例演示

新一代云原生虚拟数仓PieCloudDB「云上云」版（CloudonCloud）已于2023年3月14日重磅发布。
OpenPie｜拓数派·2023-06-11 10:14

解锁云原生虚拟数仓 PieCloudDB Database 『第一期』

拓数派旗下旗舰产品PieCloudDB，采用领先的数仓虚拟化技术，为企业构建高安全，高可靠，高在线「坚如磐石」的云原生虚拟数仓。
OpenPie｜拓数派·2023-06-11 10:14

拓数派发布新一代云原生虚拟数仓PieCloudDB

3月14日，2023拓数派「InfinitePossibilities」战略暨新产品发布会在上海圆满落幕，拓数派创始人兼CEO冯雷（RayVon）重磅发布基于新一代云原生数仓虚拟化打造的全新PieCloudDB
OpenPie｜拓数派·2023-06-11 10:12

数据中台及数据仓库设计

数据中台建设深度好文文章目录1：数据中台介绍1.1：概述1.2：架构2：数据中台建设2.1：业务和数据资产调研2.2：数据架构设计2.2.1：技术选型2.2.2：数据仓库建设1：主题设计2：数仓建模3：
猿来如此dj·2023-06-11 07:23

第一章 数据中台架构总体设计

层：基础设施层数据采集：flume、sqoop、datax、flinkcdc、canel数据计算：MR、Spark、flink数据存储：HDFS、Hbase、TIDB、Mysql…1.2、DaaS层：数仓层主要包括
随缘清风殇·2023-06-11 07:17

大数据任务调度和数据同步组件初探

数据的同步过程是必不可少的图片来源传统的数据同步方式主要是基于定时任务的模式，通过任务调度服务，每天定时将原始数据提取（extract），进行清洗处理，比如过滤掉重复数据（transform），最后存入数仓
xiaoliizi·2023-06-11 02:48

数仓总结题

面试可能会遇到的问题数仓怎么设计？数仓分为ODS层，DW层和DM层，ODS层从数据源抽取数据，对数据进行清洗，并将数据加载到中间表。
添柴少年yyds·2023-06-10 22:37

【文末送书】微服务拆分规范

动态拆分（DynamicDecomposition）Ⅱ.业务模型拆分1.基于业务功能拆分2.基于业务流程拆分3.基于用户场景拆分4.基于数据拆分Ⅲ.领域模型拆分1.按业务流程拆分2.按业务领域拆分3.按分层架构拆分三
狮子也疯狂·2023-06-10 19:07

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（上）

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统概述背景ApacheDoris官方地址https://doris.apache.org/ApacheDorisGitHub
李自提·2023-06-10 18:30

全球分布式云大会：AntDB超融合流式实时数仓，打造分布式数据库新纪元

日前，全球分布式云大会北京站在北京金茂万丽酒店举办，亚信科技AntDB数据库受邀参会，会上技术负责人北陌发表以“AntDB超融合流式实时数仓，打造分布式数据库新纪元”为主题的演讲，通过分享AntDB在数据库前沿技术的研发实践
亚信安慧AntDB数据库·2023-06-10 18:11

亚信科技AntDB数据库荣膺第十二届数据技术嘉年华（DTC 2023）“最具潜力数据库”大奖

亚信安慧副总裁张桦先生受邀参会，并发表了《AntDB数据库通信行业核心系统应用与创新》的主题演讲，分享了AntDB数据库在大规模数据管理项目上的实战经验，讲述了AntDB在“超融合”与“流式实时数仓”方向上的最新研发与技术能力
亚信安慧AntDB数据库·2023-06-10 18:10

助力工业物联网，工业大数据之数仓维度层DWS层构建【十二】

文章目录数仓维度层DWS层构建01：项目回顾02：项目目标03：维度建模回顾：建模流程04：维度建模回顾：维度设计05：维度建模回顾：维度模型数仓维度层DWS层构建01：项目回顾ODS层与DWD层的功能与区别是什么
Maynor996·2023-06-10 17:58

数据常用名词解释，数仓表设计

数据平台相关任务（Task）任务是对数据执行的操作的定义，示例如下：通过数据同步节点任务，将数据从RDS同步至数仓。通过SQL节点任务，运行SQL来进行数据的转换。
榛西·2023-06-10 15:16

【Apache-Flink零基础入门】「入门到精通系列」手把手+零基础带你玩转大数据流式处理引擎Flink（基础概念解析）

架构及原理Flink应用服务Streams有限数据流和无限数据流的区别StateTimeAPIFlink架构体系Flink操作处理Flink的应用场景Flink的应用场景：DataPipeline实时数仓搜索引擎推荐
浩宇天尚·2023-06-10 11:37

Hadoop数据仓库的主要特征有哪些？

数据仓库(英语：DataWarehouse，简称数仓、DW),是一个用于存储、分析、报告的数据系统。
传智教育·2023-06-10 08:51

Kylin

一、数仓回顾1.1核心概念数据仓库，OLAP和OLTP，维度和度量，事实表和维度表。星形模型和雪花模型。
爱过java·2023-06-10 05:22

Celix是什么？能做什么？

像MVC，MVP等其实就是分层架构，这类是最容易想到的。然后其实我就没有接触，如微服务架构，微内核架构。是什么？
万能菜道人·2023-06-10 05:46

大数据面试题总结

1.说一下最近做的项目(1)我把实时简单说了一下，说的一般2.说一说为什么要数仓分层(1)把维度建模随便说了下，又扯了一下分层3.说一下数据倾斜(1)没回答好，hive只说了groupbyflink说了一下
添柴少年yyds·2023-06-10 04:03

大数据面试题

1.说一下最近做的项目(1)我把实时简单说了一下，说的一般2.说一说为什么要数仓分层(1)把维度建模随便说了下，又扯了一下分层3.说一下数据倾斜(1)没回答好，hive只说了groupbyflink说了一下
添柴少年yyds·2023-06-10 04:02

以太网的分层架构_汽车E/E电子架构的进化和改革

当今汽车上多达数以百计的ECU（电子控制单元），MCU（微控制处理器单元）及其上面运行着的大量的嵌入式软件代码，以及复杂的CAN、FlexRay等整车通讯网络注定了汽车不同于其他的IOT设备或智能手机。汽车上的电子电气架构一直在朝着为智能化和体验服务的方向在演化和迭代，只是这个过程相比消费电子行业需要更长的时间。博世2017年在德国的一个汽车行业会议上分享了其在整车电子电气架构方面的战略图。整车电
edgarcheang·2023-06-10 00:24

一篇文章搞懂数据仓库：数据仓库架构-Lambda和Kappa对比

我们先回顾一下数据仓库的发展历程：传送门-数据仓库发展历程写在前面咳，随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，数据仓库架构方面也在不断演进，分别经历了以下过程：早期经典数仓架构
张家的鱼摆摆·2023-06-09 21:32

揭秘新一代云数仓技术架构与最佳实践

从传统数仓到湖仓一体，历经三十多年发展，技术的浪潮快速迭代，以云原生数仓为中心的现代数据栈时代已然到来。
字节数据平台·2023-06-09 21:28

FlinkSql中的join查询

InnerJoin的用法SELECT*FROMOrdersINNERJOINProductONOrders.productId=Product.id优点：使用简单和离线数仓一样缺点：因为历史数据默认不会被清理
大大大大肉包·2023-06-09 20:22

大数据之数仓基石Hive3.1.2实战

大数据数仓基石-HiveHive3.1全解析===楼兰===文章目录一、关于Hive1、Hive是什么2、Hive的适用场景3、Hive的整体架构4、为什么要用Hive而不用关系型数据库？
roykingw·2023-06-09 19:30

Clickhouse系列之整合Hive数仓

前言什么是Hive？ApacheHive数据仓库软件便于使用SQL读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投射到已存储的数据上。提供了一个命令行工具和JDBC驱动程序，用于将用户连接到Hive。Hive引擎允许您对HDFS配置单元表执行SELECT查询。目前支持如下输入格式：文本：仅支持简单标量列类型，二进制除外；ORC：支持除char以外的简单标量列类型；仅支持数组等复杂类型；p
小二上酒8·2023-06-09 19:22

spring 构建

她始终如一地坚持这一理念，1、基于POJO的轻量级和最小侵入性编程2、通过依赖注入和面向接口松耦合；3、基于面向切面和惯性的声明式编程4、通过切面和模板代码减少样板代码整体架构:Spring框架是一个分层架构
Audience0·2023-06-09 16:12

clickhouse 21.x生产实践优化

1时间字段类型建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive(hbase)为中心的数仓建设中常见，但ClickHouse环境不应受此影响。
架构师老狼·2023-06-09 15:15

新手必看｜StarRocks 入门教程来啦

StarRocks高可用、高可靠、易运维等特性使其广泛应用于实时数仓、OLAP报表、数据湖分析等场景并获得了各行业领军企业的青睐。
StarRocks_labs·2023-06-09 13:41

【大数据之路5-3】离线数据仓库（Hive 搭建）

离线数据仓库（Hive搭建）1.数据仓库概述1.数据仓库概念2.两种数仓构建理念1.BillInmon数仓2.RalphKimball数仓3.CIF架构、Inmon与Kimball建模总结1.CIF架构
程序员胖五·2023-06-09 11:32

万字长文|一文了解基于Flink构建流批一体数仓的技术点

基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代，其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。
zhisheng_blog·2023-06-09 10:46

基于CDH环境下的Hive数仓配置及优化

文章目录YARN的基础配置NodeManagerCPU配置NodeManager内存配置NodeManager本地目录MapReduce内存配置HDFS副本数配置Hive配置及优化HiveServer2的Java堆栈Hive动态生成分区的线程数Hive监听输入文件线程数压缩配置Map输出压缩Reduce结果压缩Hive多个Map-Reduce中间数据压缩Hive最终结果压缩YARN的基础配置Nod
蜜桃上的小叮当·2023-06-09 10:15

Go云原生学习笔记一

有问题欢迎大家找我讨论基本概念架构演变用架构历史1.单体架构堆机子高耦合一改动就需要重新部署而且编译时间很长，不容易拓展，不支持多语言技术栈2.分层架构典型的有MVC和MSC架构当访问量逐渐增大，单体架构扛不
·2023-06-09 10:24

百度用户产品流批一体的实时数仓实践

作者|郑德来导读：本文主要介绍如何基于流批一体的技术架构构建实时数仓，在严格的资源成本限制下，满足业务对于数据时效性、准确性的需求。
百度Geek说·2023-06-09 10:09

应用实践 | 数仓体系效率全面提升！同程数科基于 Apache Doris 的数据仓库建设

2020年，同程数科基于ApacheDoris丰富的数据接入方式、优异的并行运算能力、极简运维等特性，引入ApacheDoris进行数仓架构2.0的搭建。
hf200012·2023-06-09 10:38

数智学习 | 流批一体实时数仓建设路径探索

本期专栏由数澜科技研发专家六木带来，探索流批一体实时数仓建设路径。
数澜科技Dtwave·2023-06-09 10:06

打破数据孤岛，Apache Doris 助力纵腾集团快速构建流批一体数仓架构｜最佳实践

福建纵腾网络有限公司（简称“纵腾集团”）成立于2009年，以“全球跨境电商基础设施服务商”为企业定位，聚焦跨境仓储与物流，为全球跨境电商商户、出口贸易企业、出海品牌商提供海外仓储、商业专线物流、定制化物流等一体化物流解决方案，旗下拥有谷仓海外仓、云途物流、WORLDTECH等知名品牌。作者｜纵腾集团数据技术架构师张彬华随着纵腾集团业务的快速发展，各产品线提出的数据需求越发严格，而早期基于多套CDH
hf200012·2023-06-09 10:04

字节跳动流式数仓和实时服务分析的思考与实践

本文整理自火山引擎云原生实时数仓技术专家汪建锋在DataFun现代数据栈在线峰会上的演讲，主要介绍字节跳动流式数仓和实时服务分析的思考与实践。
字节跳动云原生计算·2023-06-09 07:22

数仓用户行为数据分析

分层优点：复杂的东西可以简单化、解耦（屏蔽层作用）、提高复用、方便管理SA贴源数据组织结构与源系统保持一致shm历史层针对不同特征的数据做不同算法，目的都是为了得到一份完整的数据PDM明细层做最细粒度的数据明细，最高扩展性和灵活性，企业级的数据标准，源系统之间的打通BDM业务层针对集市经常放在一起用到的数据做提前预处理，做维度的横向拆合，来源的纵向拆合，形成业务大宽表基础层针对集市主题做定制化整合
February13·2023-06-09 02:49

盘点数据仓库建设需要知道的那些事

文章目录建设规范为何要有规范规范如何落地有哪些规范数仓分层分层原则常见分层主题域划分原则数据模型设计原则数据类型规范**数据冗余规范**表规范处理规范命名规范生命周期管理指标管理指标定义指标构成指标分类命名规范建设规范为何要有规范无规矩不成方圆
IT小神·2023-06-09 00:48

数仓和数据湖的区别

1、数据仓库是存储结构化的数据，而数据湖是什么数据都能存（非结构化的数据也能存）。结构化数据可以理解为我们的二维表、JSON数据，非结构化的数据可以理解为图像文件之类的。数据仓库在写入的时候，就要定义好schema了，而数据湖在写入的时候不需要定schema，可以等用到的时候再查出来。强调这点，说明数据湖对数据的schema约束更加灵活。2、数据仓库和数据湖并不是替代关系。数据是先进数据湖，将数据
Six_Hundred_Miles·2023-06-08 22:32

小米基于 Flink 的实时数仓建设实践

本篇内容主要分为四个部分：小米数仓架构演变Flink+Iceberg架构升级实践流批一体实时数仓探索未来展望点击查看原文视频&演讲PPT一、小米数仓架构演变1.1数仓架构现状在介绍演变前，我们先来了解下小米当前的技术现状
·2023-06-08 20:58

揭秘新一代云数仓技术架构与最佳实践

从传统数仓到湖仓一体，历经三十多年发展，技术的浪潮快速迭代，以云原生数仓为中心的现代数据栈时代已然到来。
·2023-06-08 19:19

数据仓库、数据湖、湖仓一体，有什么区别？

一、基本概念1.1数仓发展历史数据湖是以集中方式存储各种类型数据，提供弹性的容量和吞吐能力，能够覆盖广泛的数据源，支持多种计算与处理分析引擎直接对数据进行访问的统一存储平台。
jane9872·2023-06-08 15:22

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
·2023-06-08 15:43

新项目，不妨采用这种架构分层，很优雅！

今天，我们将专注于DDD的分层架构和实体模型，期望为
JAVA日知录·2023-06-08 14:00
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他