数据架构

BA、DA、AA、TA参考

BA：BusinessArchitecture，业务架构DA：DataArchitecture，数据架构AA：ApplicationsArchitecture，应用架构TA：TechnologyArchitecture

itcast_xiaohuer·2025-01-29 13:23

破解数据模型相似度计算难题：为数据应用清障

问题剖析数据模型的相似性问题，本质上源于企业数据架构缺乏统一

秉寒·2025-01-27 10:44

Kafka：架构与核心机制

ApacheKafka是一种高吞吐量的分布式消息队列，广泛应用于实时数据流处理和大数据架构中。本文将详细探讨Kafka的架构、Replica管理、消息读取、分区策略、可靠性保障等核心机制。

J老熊·2025-01-25 11:49

湖仓进化，极速统一｜StarRocks 2024 社区年度报告

延伸阅读：Lakehouse白皮书|从理论到落地的现代数据架构升级指南StarRocks开源三周年：初心不忘，征程不止！

·2025-01-21 17:07

数据仓库复用性：业务需求复用性设计

数据仓库的业务需求复用性设计是提升数据架构灵活性和扩展性的关键部分。

PersistDZ·2025-01-18 10:58

产品解读 | 构建数智融合时代下的一站式大数据平台

一站式大数据平台，旨在通过一个平台即可满足各类业务需求，成为数智融合时代下数据基础设施的发展趋势，并从四个维度向四个“一体化”方向演进：数据架构-湖仓集一

·2025-01-18 09:50

TOGAF中的企业架构：让业务架构与数据、应用、技术架构形成闭环的魔法之旅

好消息是，TOGAF（TheOpenGroupArchitectureFramework）可以帮助企业打破这种局面，让业务架构（BusinessArchitecture）和其他“三A”架构——数据架构（

火山说数·2025-01-18 09:52

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多，对应到具体工作中的话，它可以包含下面的这些内容：系统架构：以Hadoop、Spark等组件为中心的架构体系数据架构

_Jordan·2025-01-17 16:56

Google大数据架构技术栈

数据存储层ColossusColossus作为Google下一代GFS（GoogleFileSystem）。GFS本身存在一些不足单主瓶颈GFS依赖单个主节点进行元数据管理，随着数据量和访问请求的增长，出现了可扩展性瓶颈。想象一下，只有一位图书管理员管理着一个庞大的图书馆——最终，事情变得难以承受。元数据可扩展性有限主节点上的集中元数据存储无法有效扩展，影响了性能并妨碍了PB和EB级数据的管理。实

剑海风云·2024-09-14 10:37

企业架构设计（业务架构、数据架构、应用架构、技术架构）方法及实例

企业架构设计方法及实例企业架构设计方法及实例企业架构设计概述定义与重要性架构设计原则架构设计流程业务架构设计业务架构定义与目标业务架构组成要素业务架构设计方法业务架构实例分析数据架构设计数据架构定义与目标数据架构组成要素数据架构设计方法数据架构实例分析应用架构设计应用架构定义与目标应用架构组成要素应用架构设计方法应用架构实例分析技术架构设计技术架构定义与目标技术架构组成要素技术架构设计方法技术架构

数字化建设方案·2024-09-06 08:06

医药医疗行业数字化转型数据架构设计方法论及典型案例

医药医疗行业数字化转型数据架构设计方法论及典型案例医药医疗行业数字化转型数据架构设计方法论及典型案例数字化转型背景与趋势医药行业现状及挑战数字化转型必要性发展趋势与前景展望数据架构设计方法论数据架构概述及重要性设计原则与策略制定实施步骤与关键技术典型案例分析

数字化建设方案·2024-09-02 19:04

基于TOGAF的4A企业架构规划方法论：基于TOGAF的四个核心架构：业务架构、数据架构、应用架构和技术架构，结合自身业务特点和实践经验，形成的一套企业架构规划方法。

企业架构规划方法论基于TOGAF的4A企业架构规划方法论基于TOGAF的企业架构概述TOGAF框架简介4A企业架构核心理念企业架构规划目标与原则业务架构规划业务流程梳理与优化业务能力分析与定位业务架构设计模式与实践数据架构规划数据治理策略与原则数据模型设计与优化数据质量管理与安全保障应用架构规划应用系统需求分析与评估应用架构设计模式与实践应用集成与接口管理技术架构规划技术栈选型

数字化建设方案·2024-08-22 20:00

MYSQL的读写扩展

2.mpp数据架构是一种处理大规模数据分析任务的分布式数据架构，大规模并行处理。当执行一条SQL语句时，会将语句发送到所有数据节点进行查询处理，利用多节点的计算能力进行计算。

hailang86·2024-03-12 23:16

全面解析湖仓一体与大数据演进历程｜内含技术工具选型策略

大数据架构的演进历程对于大部分人来说，大数据架构所涉及的概念及术语繁多且复杂。如何将这些混乱的词汇转化

云智慧AIOps社区·2024-02-20 17:32

一文搞懂 MySQL、debezium 和 ElasticSearch 的时间格式

整个项目的数据架构如下：MySQL的数据类型以MySQL5.7版本为例，MySQL的时间类数据类型包括：DATE,YEAR,TIME,DATETIME,TIMESTAMP5种。

程序员白总·2024-02-20 09:58

大数据架构体系(数据仓库)

1、传统大数据架构优点缺点使用场景简单，易懂，对于BI系统来说，基本思想没有发生变化，变化的仅仅是技术选型，用大数据架构替换掉BI的组件1、没有BI下如此完备的Cube架构，虽然目前有kylin，但是kylin

Shaw_Bigdata·2024-02-19 21:52

【遇见Doris】Doris on ES在快手商业化的最佳实践

贺祥快手商业化团队数据架构高级工程师主要负责商业化报表引擎快手商业化报表引擎为外部广告主提供广告投放效果的实时多维分析报表在线查询服务，以及为商业化内部各系统提供多维分析报表查询服务。

ApacheDoris·2024-02-08 11:04

【Doris】Doris on ES在快手商业化的最佳实践

1业务场景介绍1.1服务介绍本文主要侧重介绍DorisonES（DOE）在我们业务场景的实践，所以我们的数据架构在这里只做简单介绍，如上如图所示。

九层之台起于累土·2024-02-08 11:34

文末附群｜Doris on ES在快手商业化的最佳实践

贺祥快手商业化团队数据架构高级工程师主要负责商业化报表引擎快手商业化报表引擎为外部广告主提供广告投放效果的实时多维分析报表在线查询服务，以及为商业化内部各系统提供多维分析报表查询服务。

小晨说数据·2024-02-08 11:33

HDFS架构之元数据架构解析

1、内存Tree介绍啊1.1namenode启动流程1.1.1启动流程1、加载fsimage文件FsImage是一种持久化到磁盘上的文件，里面包含了集群大部分的meta数据，持久化的目的主要是为了防止meta数据丢失，也就是在HDFS不可用的情况下还能够保证绝大多数的数据是正常的。这个工作在Namenode服务中有专门的线程去做。FsImage文件最终会被保存在${dfs.namenode.nam

Studying！！！·2024-02-07 17:23

TDengine 签约杭州云润，助力某大型水表企业时序数据处理

因此，越来越多的企业开始进行数据架构改造，引入先进的时序数据库和相关技术，以实现更好的时序数据处理能力。近日，TDengine与杭州云润科技有限公司达成签约合作。

涛思数据（TDengine）·2024-02-06 09:39

大数据之路—数据架构体系及模型设计

大数据之路—数据架构体系及模型设计一、阿里巴巴数据整合及管理体系二、维度设计1、基本概念2、规范化和反规范化3、维度整合4、维度拆分5、维度变化6、特殊维度三、事实表设计1、事实表特性2、事实表类型3、

长不大的大灰狼·2024-02-05 04:03

镜舟科技客户成功团队负责人孟庆欢：湖仓一体将成为数据架构的新范式

大数据产业创新服务媒体——聚焦数据·改变商业随着数字化的概念逐步深入不同领域企业的运营中，业务形态和数字化路径也越来越丰富。这也为企业数据处理、储存的方式提出了更多要求。对于企业，尤其是数据驱动型企业来说，需要强大的解决方案来管理和分析整个组织中的大量数据，这些系统必须具有可伸缩性、可靠性和安全性，并且必须具有足够的灵活性以支持各种数据类型和使用场景。这些要求远远超出了任何传统数据库的能力，因此，

数据猿·2024-02-04 06:40

Hive和Hbase的各自适用场景

先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。

yoku酱·2024-02-02 17:36

实现成本最优的一体化管理，新一代数据平台的建设方式丨爱分析调研

3.组装式数据架构逐渐老旧。建议企业采用一体化为特点的新一代数据平台，能更好地解决成本优化、平台扩展性等问题，并可将更多资源投入到业务创新中。十年数据平台建设，企业用户依然

ifenxi爱分析·2024-02-01 20:10

企业数字化战略要做到一米宽，一千米深

怎样构建现代化数据架构？

戴尔科技·2024-02-01 17:41

架构设计师总结集

架构设计师总结集一、软件架构二、软件开发三、系统构件四、其他五、架构评估1.质量效应树2.架构模式2.1解释器模式2.2管道-过滤器模式2.3隐式调用2.4仓库3.描述对象之间的动态交互关系4.面向对象模型：5.数据架构

夜白宋·2024-02-01 07:39

大数据架构简述流处理、批处理、交互式查询

我们将大数据处理按处理时间的跨度要求分为以下几类基于实时数据流的处理，通常的时间跨度在数百毫秒到数秒之间基于历史数据的交互式查询，通常时间跨度在数十秒到数分钟之间复杂的批量数据处理，通常的时间跨度在几分钟到数小时之间1.流处理流是一种数据传送技术，它把客户端数据变成一个稳定的流。正是由于数据传送呈现连续不停的形态，所以流引擎需要连续不断处理数据流处理的主要应用场景：金融领域和电信领域1.1Stom

叫我老村长·2024-02-01 01:09

TDengine 签约海博思创，助力储能运维平台数据管理

为了实现数据的有效处理和利用，储能运维平台需要具备高性能的数据处理和分析能力，采用先进的数据存储和计算技术，构建可扩展的数据架构。在此背

涛思数据（TDengine）·2024-01-30 07:11

Python+Web玩爆超炫酷页面

上课日期：7月17日上课时间：15：00-16：30主讲老师：樊老师课程介绍no.1老师简介老师简介：国内知名讲师、大数据架构师、多年来就职于国内一线知名互联网公司担当要职、有多年的开发经验、教学经验、

誉天梦老师·2024-01-30 02:47

系统架构设计师教程（十九）大数据架构设计理论与实践

大数据架构设计理论与实践19.1传统数据处理系统存在的问题19.2大数据处理系统架构分析19.2.1大数据处理系统面临挑战19.2.2大数据处理系统架构特征19.3Lambda架构19.3.1Lambda

赫凯·2024-01-30 00:34

企业级大数据安全架构（六）数据授权和审计管理

作者：楼高本节详细介绍企业级大数据架构中的第六部分，数据授权和审计管理1.Ranger简介ApacheRanger是一款被设计成全面掌管Hadoop生态系统的数据安全管理框架，为Hadoop生态系统众多组件提供一个统一的数据授权和管理界面

云掣YUNCHE·2024-01-27 07:30

数字经济时代的数据管理利器：ERD Online

但是，面对复杂的数据架构和繁琐的管理流程，我们怎样才能既保持敏捷又不失规范呢？答案可能就在全球首款开源、免费在线数据建模平台——ERDOnline。

ERD Online·2024-01-26 13:38

毕业设计——基于spark的电影推荐系统，包括基于ALS、LFM的离线推荐、实时推荐

Python豆豆·2024-01-25 22:21

银行数据仓库体系实践（7）--数据模型设计及流程

这里就需要有良好的数据分区和数据模型，那数据分区在第三部分数据架构中已经介绍，本节将介绍如何进行数据模型的设计。

南极找南·2024-01-25 17:51

Redis 笔记四

概要：1.高并发场景秒杀抢购超卖bug实战重现2.阿里巴巴内部高并发秒杀下单方案首次揭秘3.基于Reddis+MQ实现秒杀下单架构4.10万订单每秒热点数据架构优化实践5.秒杀下单MQ如何保证不丢失消息

庄园特聘拆椅狂魔·2024-01-25 12:45

银行数据仓库体系实践（3）--数据架构

狭义的数据仓库数据架构用来特指数据分布，广义的数据仓库数据架构还包括数据模型、数据标准和数据治理。

南极找南·2024-01-24 07:42

数据库-分库分表初探

取模方案range范围区间取值方案映射表方案分库分表问题事务一致性问题跨节点关联查询跨节点分页、排序函数主键避重公共表分库分表工具分库后的查询问题数据迁移停机迁移（一般都不允许）不停机迁移上线TiDB分布式数据架构雪花算法

star-1331·2024-01-23 18:02

OceanBase在作业帮业务的应用实践

在业务初期，作业帮使用阿里云ECS自建MySQL，同时最大程度利用自建DBasS平台完成初期业务的快速扩张，为业务提供稳定的OLTP能力，但随着业务数据量飞速上涨，该数据架构逐渐呈现亟需解决的技术痛点。

OceanBase数据库官方博客·2024-01-23 16:05

大数据学习之 Flink

的区别六：初步开发七：Flink配置说明八：环境九：运行组件一：简介Flink是一个框架和分布式得计算引擎，对于无界和有界数据流进行状态计算二：为什么选择Flink流数据更真实地反应了我们得生活方式传统得数据架构是基于有限数据集的低延迟

会编程的海贼王·2024-01-22 19:58

【Rust招聘】美团基础研发平台招聘Rust开发工程师 base北京/上海

助力业务降本增效深入业务场景，协助排查和解决问题，驱动存储系统研发参与美团Raptor监控系统需求评审、产品技术方案设计、开发及相关技术文档编写，高效交付业务需求，保障系统的可维护性参与美团可观测系统数据架构迭代升级路径的规划并推动落地

Rust语言中文社区·2024-01-20 11:10

五年Java外包转型大数据架构

乔二爷(化名)是我学习群的元老，我们去年就认识，他是五年Java经验的老鸟。去年年底他刚开始学大数据的时候给我打过电话，咨询一些学习路线上的问题，那时刚转型大数据的我给了他几点不太成熟的建议，今年年初就成功转型了，并且从数据开发到现在的架构，实属牛逼。个人介绍我乔二爷，专科，坐标二线城市。14年8月毕业开始从事Java开发，月薪3800，在外地驻场两年多，17年初开始接触大数据，18年底开始系统学

大数据基础入门教程·2024-01-19 16:32

Fabric SDK

需求工程，架构区块链应用的需求工程－需求获取／验证参考应用架构-银行案例参考数据架构商务智能（BI）Fabric-ca-clientCommonAPI:RegisterEnroll登记Reenroll重新注册

宋song一·2024-01-18 18:36

字节跳动大数据架构面经（超详细答案总结）

字节一面1面试官：简单的做个自我介绍吧面试官，您好！我叫xxx,xxxx年x月毕业于xxx学校，xx学历，目前就职于xxx公司xxx部门，职位为：大数据开发工程师，主要从事于xxx组件、平台的开发工作。工作以来，我先后参加了xxx项目、xxx项目以及xxx项目，积累了丰富的项目经验，同时，这x个项目都得到了领导的一致好评。我对Flink组件有着浓厚的兴趣，工作之余经常钻研技术、例如：Flink四大

Python栈机·2024-01-18 12:39

HBase集群写入出现大量毛刺排查

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优问题现象查看监控，业务请求量正常，但是server

KubeData·2024-01-17 02:12

一文了解数据库vs数据仓库vs数据湖

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优以下是本文目录：什么是数据库？

KubeData·2024-01-17 02:11

程序员如何构建自己的「护城河」

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优关注我，持续分享更多技术干货0.何为「护城河」前段时间

KubeData·2024-01-17 02:41

CDMP（Data Architecture）

数据架构数据架构的思考从数据角度来看，没有组织可以从头开始。即使一个做到了，数据依赖性很快就出现了架构启用组织及其数据的总体视图。

冰菓_lam·2024-01-16 19:43

《业务架构.应用架构.数据架构实战》之一

第一章主要是讲架构实践全景图。1.有哪些架构？什么是架构，在日常工作的各种报告中，有各种各样的架构，系统架构、信息架构、数字化架构、物理架构、逻辑机构、功能架构等等。每次在报告评审的时候，各种评委专家都会针对方案的架构提出一大堆问题与建议，听得云里雾里的，特别是做方案报告时，系统架构更是重中之重，但一般来说，评委都知道这个东西很重要，但每个评委认为的架构确是不一样的。是功能架构、逻辑架构还是物理架

后山人_HSR·2024-01-15 16:42

推荐频道