数仓分层架构

美团基于 Flink 的实时数仓平台建设新进展

摘要：本文整理自美团实时数仓平台负责人姚冬阳在FlinkForwardAsia2021实时数仓专场的演讲。
Apache Flink·2023-03-29 17:04

超详细讲解SpringMVC三层架构

采用分层架构的好处，普遍接受的是系统分层有利于系统的维护，系统的扩展。就是增强系统的可维护性和可扩展性。对于Spri
Ⅸ亿少女的梦·2023-03-29 16:49

Flink 实践 | B站流式传输架构的前世今生

01背景Lancer是B站的实时流式传输平台，承载全站服务端、客户端的数据上报/采集、传输、集成工作，秒级延迟，作为数仓入口是B站数据平台的生命线。
Java可可·2023-03-29 16:06

流式数仓----未来的一个方向

#流式数仓概述流式数仓（StreamingWarehouse）更准确地说，其实是“makedatawarehousestreaming”，就是让整个数仓的数据全实时地流动起来，且是以纯流的方式而不是微批
keepandkeep·2023-03-29 15:37

程序员整体架构之开发架构

开发架构文章目录开发架构概述前言互联网发展特点单体架构面向服务架构(SOA)水平分层架构微服务架构：水平拆分+垂直拆分服务网格架构中台架构云原生架构Serverless架构小结公众号概述简述了互联网业务发展的特点
chentian114·2023-03-29 15:29

实时数仓：实时数据平台之技术篇

文章目录简介一、整体技术选型二、技术组件介绍2.1数据总线平台DBus2.1.1DBus设计思想2.1.2DBus功能特性2.1.3DBus技术架构2.2分布式消息系统Kafka2.2.1元数据管理（MetadataManagement）2.2.2模式演变（SchemaEvolution）2.3流式处理平台Wormhole2.3.1Wormhole设计思想2.3.2Wormhole功能特性2.3.
Freedom3568·2023-03-29 14:15

Spark读取JDBC调优

Spark读取JDBC调优，如何调参一、场景构建二、参数设置1.灵活运用分区列实际问题：工作中需要读取一个存放了三四年历史数据的pg数仓表（缺少主键id），需要将数据同步到阿里云MC中，Spark在使用
Malegod丶小飞·2023-03-29 14:10

数据仓库，Hive中使用 != 或 <>符号进行条件过滤时的坑

事情经过是这样的，我在把业务系统数据同步到数仓(数据存储在Hive)中时，在数据汇总层(DWS)，对数据进行汇总处理时，发现有数据丢失的问题，经过排查，发现是在使用致命陷阱业务场景：把业务数据抽到ODS
喵感数据·2023-03-29 13:17

数字化架构

从单体架构开始，分层架构、微服务
dotNET跨平台·2023-03-29 13:20

数仓规划建议

数仓规划建议1、将数仓平台账号收归统一管理，防止出现同一张业务表被重复同步到数仓平台或者自己的业务流程被别人误运行。（有些业务流程是不能被重复运行的）2、对数仓平台的表命名进行统一规范。
csdn1949_406·2023-03-29 12:09

基于物联网的智慧城市技术架构由传统数据仓库向flink流批一体数据仓库跃升

过去公司智慧城市项目，由于追求稳定性，数仓基本还是沿用比较成熟的传统数仓，但是随着近两年城市物联网部件的逐渐增多，实时性的需求逐渐增加。
sofo2017·2023-03-29 12:08

Spring整体架构

Spring框架是一个分层架构，它包含一系列的功能要素，并被分为大约20个模块，如下图所示。
却是人间胜景·2023-03-29 10:58

MyBatis

JavaEE企业级开发中的分层架构微软推荐的分层式结构一般分为三层，从下至上分别为：数据访问层、业务逻辑层、表示层。分层式设计可以达至目的：分散关注、松散耦合、逻辑复用、标准定义。
果子真好吃·2023-03-29 09:41

java整体的架构,[Java教程]Spring整体架构

[Java教程]Spring整体架构02018-07-0208:01:22Spring整体架构Spring的整体架构Spring框架是分层架构的，它包含了一系列的功能要素，并被分为大约20个模块。
liansang99·2023-03-29 09:32

二、Spring整体架构

1、Spring整体架构Spring框架是一个分层架构，它包含一系列的功能要素，并被分为大约20个模块，可分为5类，如下图所示：从上图springframework整体架构图可以看到，这些模块被总结为以下几个部分
好人Luke·2023-03-29 09:44

spring整体架构

spring框架是一个分层架构，它包含一系列的功能要素，并被分为大约20个模块。
panzm_csdn·2023-03-29 09:40

Spring整体架构包含哪些组件？

Spring的整体架构Spring框架是一个分层架构，它包含一系列的功能要素，并被分为大约20个模块：这些模块被总结为
洋柿子0826·2023-03-29 08:20

Apache Doris系列之：深入认识实时分析型数据库Apache Doris

ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速
最笨的羊羊·2023-03-29 08:42

离线数仓-基础知识(个人总结)

声明:1.本文为我的个人复习总结,并非那种从零基础开始普及知识内容详细全面,言辞官方的文章2.由于是个人总结,所以用最精简的话语来写文章3.若有错误不当之处,请指出一、概述:介绍:数据仓库里存放着海量的数据,并拥有分析计算程序,计算输出的结果供企业制定决策使用输入数据来源:用户行为数据(前端埋点),业务数据(MySQL数据库),爬虫数据用户行为数据:用户的动作产生的数据,比如浏览,停留,点击,点赞
hellosrc | remake·2023-03-29 08:32

聊聊数据域和主题域的区别

这篇文章跟大家一起聊下数仓中比较容易混淆的两个概念——数据域、主题域。
Data跳动·2023-03-29 08:27

数据仓库系列文章二：浅谈企业数据仓库总线矩阵

为什么要谈企业数据仓库总线矩阵，一方面是它在数仓建设中
feijinz·2023-03-29 08:16

Flink系列 - 实时数仓之CEP预警实战（五）

  CEP即ComplexEventProcessing-复杂事件，FlinkCEP是在Flink中实现的复杂时间处理(CEP)库。处理事件的规则，被叫做“模式”(Pattern)，FlinkCEP提供了PatternAPI，用于对输入流数据进行复杂事件规则定义，用来提取符合规则的事件序列。  PatternAPI大致分为三种：个体模式，组合模式，模式组。(详情请自行查看资料)FlinkCEP应用
小飞牛_666·2023-03-29 08:47

数据仓库(7)数仓规范设计

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统规范设计在这里取《大数据之路：阿里巴巴大数据实践》中的定义，这里记录一下本人对这一块自己的理解。规范定义指以维度建模作为理
pythonxxoo·2023-03-29 07:58

数据仓库建设

1.数仓概述数仓顾名思义，就是数据存储仓库。为什么建设数仓呢？一个事物出现多是为了解决存在的问题。公司面临什么问题？
day_ue·2023-03-29 07:09

大数据中台架构以及建设全流程二（Daas层设计）

目录背景面临问题解决方案数仓架构演进离线数仓架构案例Lambda数仓架构案例问题点Kappa数仓架构架构选型数仓整体架构（图片来自网络）数仓分层架构（图片来自网络）主题域划分维度建模需求标准化维度及指标规范管理指标管理流程图数仓建库表规范字段规范实时数仓实时数仓
只会写demo的程序猿·2023-03-29 06:02

再见了数仓！数据中台已成气候！

提起业务流量，除了全民抢票平台12306，当数阿里最有发言权。上到双十一千亿级流量洪峰，下到日均百万、千万交易量的平台，每个业务模块背后的高并发架构理念，无处不在。成熟的架构设计只是其一，要取得突破性地业务增速和领先行业的地位，激活海量数据的价值才是长远之策。所以，阿里一直非常重视大数据领域的建设和投入，其中赫赫有名的就是大数据中台战略。OneData体系下的数据公共层已经支撑了淘宝、天猫、聚划算
LiangGzone·2023-03-29 05:11

数仓中关于“维度” “粒度”的详细理解（转）

一、维度是什么不懂就问，维度是什么？我们学习的自然反应，自然是去查阅专业资料。1）阿里dataphin产品简介——基本概念是这样介绍维度：人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。2）华为DGC产品介绍——基本概念如此介绍维度：维度是用于观察和分析业务数据的视角，支撑对数据汇聚、钻取、切片分析，用于SQL中的Groupby条件。多数维度具有层级结构，如：地理
cnor·2023-03-29 05:28

阿里云数仓Dataphin数仓功能点含义解释

Dataphin基于Dev-Prod开发模式，开发环境生成的规范建模、数据处理、数据集成类任务，需要发布到生产环境进行调度。规范建模规范定义维度维度是人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。维度是人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。业务过程业务过程是业务活动中不可拆分的事件，例如下单、支付和退款。创建业务过程，
cnor·2023-03-29 05:28

大数据中台-什么是中台一文详解就够了

我一开始的理解是：数据中台整合了数据仓库、数据平台等，直到网上查阅了一些资料才知道，原来中台和平台、数仓是平行的，并没有什么直接的关系，看图：三者的关键区别有以下几方面：数据中台是企业级的逻辑概念，体现企业
chenzhihao·2023-03-29 05:57

Apache Flink 不止于计算，数仓架构或兴起新一轮变革

作者|蔡芳芳采访嘉宾|王峰（莫问）维基百科的“ApacheFlink”词条下，有这么一句描述：“Flink并不提供自己的数据存储系统，但为AmazonKinesis、ApacheKafka、Alluxio、HDFS、ApacheCassandra和Elasticsearch等系统提供了数据源和接收器”，很快，这句话的前半句或许将不再适用。2021年初，在InfoQ编辑部策划的全年技术趋势展望中，我
Apache Flink·2023-03-29 05:45

Apache Flink不止于计算，数仓架构或兴起新一轮变革

作者|蔡芳芳采访嘉宾|王峰（莫问）维基百科的“ApacheFlink”词条下，有这么一句描述：“Flink并不提供自己的数据存储系统，但为AmazonKinesis、ApacheKafka、Alluxio、HDFS、ApacheCassandra和Elasticsearch等系统提供了数据源和接收器”，很快，这句话的前半句或许将不再适用。2021年初，在InfoQ编辑部策划的全年技术趋势展望中，我
zhisheng_blog·2023-03-29 04:28

引领云数仓创新浪潮 HashData闪耀PostgreSQL中国技术大会

3月3日-3月5日，第12届PostgreSQL中国技术大会在杭州举行。本次大会以“突破•进化•共赢——安全可靠，共建与机遇”为主题，以线上+线上结合的方式，邀请了PG领域众多行业大咖、学术精英及技术专家，共同探讨数据库未来的发展动态、技术突破、实践案例和生态合作等话题。HashData作为国内领先的PG技术栈实践者和重要的社区贡献者，受邀参加本次大会。来自HashData的技术专家团队，为观众呈
HashData酷克数据·2023-03-29 04:29

HashData携手新炬网络 共推国产云数仓产业发展

3月22日，酷克数据宣布与国内知名IT智能运维服务商新炬网络签署战略合作协议，新炬网络成为酷克数据核心战略合作伙伴。双方约定，将通过优势互补、资源共享的方式，建立长期合作模式和信息共享机制，在数据库相关领域展开合作，共同深化国产数据库产业布局，提升国产数据库运营支撑保障体系，共同开拓新市场。协同赋能信创生态融合发展当前，数据要素市场正值蓬勃发展时期。在刚刚召开的两会中，数据要素市场建设成为代表委员
HashData酷克数据·2023-03-29 04:29

云原生数仓九大误区，你知道多少？

纵观数据库的发展历史，传统关系型数据库最早期主要针对交易处理为主要应用设计的，对于数据仓库分析统计类的应用，也都运行在这类数据库上，比如传统的Oracle、DB2等。这一阶段，一种架构支持多类应用(OneSizeFitsAll）。随着基础设施的演进和业务需求的激增，逐步引发数据处理架构的变革，行业的技术思路由“一种架构支持所有应用”转变成“多种架构支持多类应用”，以Hadoop、MPP数据库为代表
HashData酷克数据·2023-03-29 04:28

腾讯云大数据“数智话”技术沙龙 第一期—云数据仓库 for Apache Doris 内容回顾...

本次直播由腾讯云大数据数据仓库产品经理，腾讯云Doris技术负责人，腾讯云大数据资深研发工程师围绕腾讯云大数据在2022重磅发布的云托管实时数仓产品——云数据仓库forApacheDoris展开，重点介绍了其优势特性
腾讯云大数据·2023-03-29 02:41

腾讯云官方课：EMR数仓全套教程重磅首发

新姿（知）势（识），学起来腾讯云开发者社区带着干货来了腾讯云×尚硅谷大数据研究院强强联手重磅推出新年第一弹腾讯云EMR数仓教程发布腾讯云开发者社区“公开课”直达：https://mc.tencent.com
腾讯云开发者·2023-03-29 01:35

学习笔记-前端开发架构设计

前端开发的技术选项主要包含以下几点，下面对一些名词概念的解释做了笔记：1、分层架构：把功能相似，抽象级别相近的实现进行分层隔离优势：松散耦合（易维护，易复用，易扩展）常见分层方式：MVC，MVVM2、模块化
阿达斯加·2023-03-29 00:31

Lambda架构

Lambda架构->实时数仓目前大数据架构已经走向了数据湖时代，无论是单纯的批处理模式，还是同时支持实时和离线数据处理的Lambda架构都已经过时。均不再适应现在大数据的业务发展需要。
锋火连天·2023-03-28 23:00

数仓分层（ODS、DWD、DWS、DWT、ADS）和数仓建模

文章目录一、数仓分层数仓概念ODS（原始数据层）做了哪些事DWD（明细数据层）做了哪些事DWS（服务数据层）做了哪些事DWT（主题数据层）做了哪些事ADS（应用数据层）做了哪些事二、数仓建模常用的建模工具
billows9297·2023-03-28 22:35

DDD分层架构最佳实践

还在单体应用的时候就是分层架构一说，我们用得最多的就是三层架构。而现在已经是微服务时代，在微服务架构模型比较常用的有几个，例如：整洁架构，CQRS（命令查询分离）以及六边形架构。
Java全能架构师·2023-03-28 22:57

数据仓库架构详解

学习目录一、基本概念二、核心框架三、数仓大数据架构详解（流程）一、基本概念数据仓库（DataWarehouse）是一个为数据分析而设计的企业级数据管理系统。
王博1999·2023-03-28 22:50

数仓分层架构

目录数仓为什么要分层数仓分层架构图名词介绍分层介绍数仓为什么要分层数据仓库一般存储的是企业级的海量数据，数据来源多样，抽象程度多样。
Lowrance_TT·2023-03-28 21:14

java轻量级框架_轻量级的Java 开发框架 Spring

框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件，同时为J2EE应用程序开发提供集成的框架。Spring
爱吃可颂·2023-03-28 21:43

数仓架构演进

数仓1.0,2.01.Lambda架构Lambda将数据处理流分为在线分析和离线分析两条不同的处理路径，两条路径互相独立，互不影响。
aaaak_·2023-03-28 21:36

DDD分层架构的三种模式

引言在讨论DDD分层架构的模式之前，我们先一起回顾一下DDD和分层架构的相关知识。
txxs·2023-03-28 21:15

DDD（领域驱动设计）分层架构

一、分层架构的模型DDD全称为(Domain-DrivenDesign,简称DDD)，领域驱动设计。主要分为四层：展现层：它负责向用户显示信息和解释用户命令，完成前端界面逻辑。
玉面大蛟龙·2023-03-28 21:38

对DDD（领域驱动设计）分层架构的理解（适合新人）

目前团队大多数项目都是基于DDD分层架构开发的，而不是传统的MVC模式，这就让很多之前没有接触过DDD思想的同学在刚开始接触项目的时候有点懵。那么什么DDD？
ITFLY8·2023-03-28 21:35

附PPT|2020年总结实时数仓最新架构图

1型基于Flink的滴滴实时数仓实践分享嘉宾：潘澄,滴滴基础平台资深研发工程师分享大纲：整体概况业务实践平台&引擎总结反思未来规划2实时OLAP，从0到1分享嘉宾：高正炎,比特大陆分享大纲：业务背景机遇挑战架构演进架构优化未来展望
小晨说数据·2023-03-28 21:04

企业数据仓库技术架构

数据仓库基本知识什么是数据仓库数据仓库简称数仓，其英文名为DataWarehouse（简写为DW或DWH）。
hellozhxy·2023-03-28 21:33

DDD—分层架构、洋葱架构、六边形架构

一、DDD分层架构DDD分层架构中有很重要的依赖原则：每层只能与位于下方的层发生耦合，类似于网络的7层或TCP/IP的4层模型架构，每一层各司其职，并且只关心向下一层的实现，而不会出现各层耦合。
柚子茶1990·2023-03-28 21:58
上一页 42 43 44 45 46 47 48 49 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他