数据中台第4页

我对大数据的理解

在这种大环境下，部分企业或政府建立的大数据平台，并且在此之上建立了数据湖、数据仓库、数据中台。相关概念或定义如下：大数据平台是一个以处

王永翔·2023-12-19 07:54

数据中台与数据仓库有什么区别？

数字化转型浪潮卷起各种新老概念满天飞，数据中台、数据仓库轮番在朋友圈刷屏，企业还没推开数字化大门，先被各种概念绊了一脚。今天咱们就来看下这两者究竟有啥区别。

惟客数据·2023-12-19 00:48

数据中台演进的四个阶段

数据中台的演进可以分为四个阶段，分别是：数据库阶段；数据仓库阶段；数据平台阶段；数据中台阶段。

求知笔记·2023-12-18 08:20

什么是BI、数据仓库、数据湖和数据中台，他们有什么差异？

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵进行系统的解析

公众号:肉眼品世界·2023-12-17 15:03

数据中台：企业数据质量参差不齐？听听专家怎么说

本文节选自《数据中台》作者：付登坡，江敏，任寅姿，孙少忆等1数据质量管理的目标数据质量管理主要解决“数据质量现状如何，谁来改进，如何提高，怎样考核”的问题。

中生代技术·2023-12-17 14:30

数据中台架构原理与开发实战：ETL过程深度解析

1.背景介绍随着互联网的蓬勃发展，越来越多的企业和机构开始在线存储、分析、报告各种数据。数据存储成为新旧应用、新旧数据管理和数据报表需求交织相成的一个重要原因。为了解决这个难题，数据仓库（DataWarehouse）应运而生。它是一个集中汇聚所有业务数据并提供统一视图的数据集合。同时也充当了数十年来存储、分析、报告数据的“单点故障”。数据仓库不仅能够满足内部各个部门对数据的查询需求，还可以作为“云

禅与计算机程序设计艺术·2023-12-17 14:29

数据采集方法

数据采集过程是数据流入数据中台的关键步骤，主要通过认证鉴权、关键数据源管控、采集数据传输安全、临时数据限制、日志记录和告警等多种措施来保障采安全性。

manok·2023-12-16 11:23

DataFunSummit：2023年数据科学在线峰会-核心PPT资料下载

数据中台如何发挥功效？用户增长有捷径吗？数据科学的最佳实践有哪些？本次峰会共包含了：机器学习与数据挖掘、AB实验、因果推断、数据中台与数字化转型、用户增长与运营、数据科学最佳实践等6大论坛。

百家峰会·2023-12-16 02:39

6000字长文，终于将数据中台架构体系讲明白了

数据中台的出现弥补了数据开发和应用开发之间由于开发速度不匹配而出现的响应力不足等缺陷问题。数据中台是国内学者提出的概念，起始于阿里的“大中台、小前台”概念。阿里的中台是从管理的角度出发，以中台

公众号:肉眼品世界·2023-12-15 19:46

数据中台架构原理与开发实战：理解数据湖与数据中台的关系

但是，由于需求的不断变化，公司面临的数据维度爆炸、数据价值难以量化、数据分析延迟增长等一系列数据管理难题，如何构建一个具有自主知识产权保护能力和数据价值的数据中台成为迫切需求。

禅与计算机程序设计艺术·2023-12-15 19:08

马骑顿部署实在RPA，所产价值超该项目投入6倍

2022年，马骑顿搭建企业数据中台，统一管理线上数据，但在做数据化的时候，发现很难将各个模块的数据链路打通。

实在智能RPA·2023-12-15 12:46

实践分享 | 数据中台高效交付的秘笈

基于保障数字化转型成功的数据中台建设过程中，“速度”决定了市场竞争力——建设周期越短，能节约越多成本；中台上线越快，能释放越多价值。

美林数据Tempodata·2023-12-15 10:08

记一次系统上线的JVM调优

前言开发了大半年的数据中台系统，近期在测试环境上线压测，监控JVM时发现GC频繁，开启GC日志后发现隔几秒就要做一次MinorGC（对新生代内存进行回收），并且堆内存不到十分之一的时候就进行GC（测试-

南风过境jz·2023-12-06 04:05

数据中台学习和实战系列文章

【华为数据之道学习笔记】1-2华为数字化转型与数据治理-CSDN博客【华为数据之道学习笔记】非数字原生企业的特点-CSDN博客【数字化转型方法论读书笔记】选型数据中台的几大建议-CSDN博客【数字化转型方法论读书笔记

码农丁丁·2023-12-05 22:32

【数据中台】开源项目（4）-BitSail

介绍BitSail是字节跳动开源的基于分布式架构的高性能数据集成引擎,支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下的全域数据集成解决方案，目前服务于字节内部几乎所有业务线，包括抖音、今日头条等，每天同步数百万亿数据。开源地址：GitHub-bytedance/bitsail:BitSailisadistributedhigh-performancedataintegratio

码农丁丁·2023-12-05 22:55

《数据中台：让数据用起来》书评

有幸被选中为数澜科技《数据中台：让数据用起来》抢鲜品鉴者，首先感谢数澜科技的小伙伴们能够系统的介绍和分享关于数据中台相关理念、知识、技术及工具。

礼_7f0b·2023-12-04 06:36

数据中台架构原理与开发实战：数据分析与决策支持

作者：禅与计算机程序设计艺术1.背景介绍数据中台（DataStudio）是一个重要的开源工具和框架，用于帮助企业进行数据采集、清洗、加工、存储、分析和可视化。

禅与计算机程序设计艺术·2023-12-03 23:15

【数据中台】开源项目（3）-Linkis

关于LinkisLinkis在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Linkis提供的REST/WebSocket/JDBC等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink等底层引擎，同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通，以及通过REST标准接口提供了数据源管理和数据源对应的元数据查询服务。作为计

码农丁丁·2023-12-03 23:42

数据中台方案

平台引擎DataSphereStudio基于插拔式的集成框架设计，及计算中间件Linkis，可轻松接入上层各种数据应用系统，让数据开发变得简洁又易用。在统一的UI下，DataSphereStudio以工作流式的图形化拖拽开发体验，将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等，数据应用开发全流程场景需求。数据治理引擎数据平台的数据治理：数据治理是一个大而全的治

aaaak_·2023-12-03 23:11

【数据中台】开源项目（3）-DataSphere Studio

DataSphereStudio（简称DSS）是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计，及计算中间件Linkis，可轻松接入上层各种数据应用系统，让数据开发变得简洁又易用。在统一的UI下，DataSphereStudio以工作流式的图形化拖拽开发体验，将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等，数据应用开发全流程场景需求。DSS通

码农丁丁·2023-12-03 23:10

浅析数据中台技术架构

@toc引言数据中台总体架构图前面我们通过理论层面对数据中台有了一定的了解，下面我们通过架构层面来详细看一下数据中台的设计。数据中台是位于底层存储计算平台与上层的数据应用之间的一整套体系。

kobe_OKOK_·2023-12-03 15:23

大数据湖项目建设方案：文档全文101页，附下载

关键词：大数据解决方案，数据湖解决方案，数据治理解决方案，数据中台解决方案一、大数据湖建设思路1、明确目标和定位：明确大数据湖的目标和定位是整个项目的基础，这可以帮助我们确定项目的内容、规模、所需的技术以及如何评估项目的效果

方案365·2023-12-03 08:05

【数据中台】开源项目（5）-Amoro

介绍AmoroisaLakehousemanagementsystembuiltonopendatalakeformats.WorkingwithcomputeenginesincludingFlink,Spark,andTrino,Amorobringspluggableandself-managedfeaturesforLakehousetoprovideout-of-the-boxdataw

码农丁丁·2023-12-03 08:05

复杂JSON的实时接入解析与可视化展示

数据在后端处理好通过API将JSON返回给前端页面2、SaaS产品对外通过WebAPI返回JSON提供数据服务，而不是让用户直接连接到数据库（这样太危险，而且数据库服务通常是多租户公用，无法直接登录访问）3、数据中台已经得到广泛应用

Crystalllleee·2023-12-02 21:46

开源多组件数据中台整体框架设计

本文参考该论证思维工具，结合自身的工作经验，来论证下当前为什么“开源多组件数据中台”是政务数据应用的选择之一。一、什么是数据中台？

开源数据中台·2023-12-02 01:50

数据中台架构原理与开发实战：数据中台项目管理流程

作者：禅与计算机程序设计艺术1.背景介绍数据架构概述数据架构（DataArchitecture）作为IT企业运用新型信息技术（IT）技术革命带来的变革，已经成为越来越重要的领域。随着互联网、移动互联网、物联网、云计算等新一代技术的发展，人类活动产生的数据量正在以指数级增长。而数据架构就成为了构建和维护这些海量数据的基石。由于数据量的爆炸性增长，传统单体数据库已无法满足业务需求的同时，还面临新的挑战

禅与计算机程序设计艺术·2023-12-02 01:49

数据中台架构原理与开发实战：数据可视化与数据报表

2017年，阿里巴巴集团发布了"支付宝数据中台",该平台旨在打通数据分析、决策制定和营

禅与计算机程序设计艺术·2023-12-01 23:48

数据中台之核心调度模块的设计

目录1.DAG图的设计1.1功能设计要点1.2数据库设计要点2.调度器设计2.1XXL-JOB调度架构特点

数据与后端架构提升之路·2023-12-01 12:51

数据中台之OneService

OneService定义数据服务（OneService）作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。如何构建OneService●第一步：API定义API的定义包括：快速配置参数、选择排序字段、API类型多样性、数据预览、复制字段等方面。API的类型又包括生成API、注册API、服务分组及服务编排这4个方面。●第二步：API发布API的发

数据与后端架构提升之路·2023-12-01 12:50

一文读懂：制造业头部企业如何构建经营分析数字化体系

用BI数据分析手段，通过SAPBW/4HANA、SAPSACPlanning、数据中台、Hadoop等构建大数据平台，实现企业经营分析的数字化在近年逐步被认可和推崇，尤其是数字化场景的经营分析会成为数字化转型的亮点应用之一

智扬信达·2023-12-01 09:11

基于Apache doris怎么构建数据中台(五)-数据质量管理

上一次我们讲了，数据怎么进行快速的接入，这次我们讲在接入及后续的数据处理中质量怎么控制如何更加合理、高效的监控每类作业的运行状态，并将原本分散、孤岛式的监控日志信息通过规则引擎集中共享、关联、处理；洞察关键信息，形成事前预判、事中监控、事后跟踪的质量管理闭环流程；沉淀故障问题，搭建解决方案的知识库体系。在数据质量监管平台的规划建设中，面临如下挑战：缺乏统一监控视图，离线和实时作业监控分散，影响性、

张家锋·2023-11-30 17:48

数据中台具体是怎么解决数据孤岛的？_光点科技

为了解决这一问题，数据中台应运而生。数据中台是一种新型的数据管理架构，旨在打破数据孤岛，通过集中处理和管理数据，提高数据的可访问性和可用性。具体来说，

光点数据治理·2023-11-30 14:22

光点数据中台能干啥？怎么做？用在哪？_光点科技

数据中台的支持是企业中任何高层次的业务应用不可或缺的。数据中心面向的公司业务不再是单一业务线，而是从公司整体角度审视业务全景，寻找可重用的沉淀能力。今天，让我们来了解一下。

光点数据治理·2023-11-30 14:52

企业的数据中台到底指的是什么？_光点科技

随着数据技术的不断发展和企业数据应用的广泛应用，越来越多的企业开始将数据中台作为数字化转型的核心战略之一。那么，企业的数据中台到底指的是什么呢？

光点数据治理·2023-11-30 14:52

光点高校数据中台，助力高校信息化迎来发展新格局_光点科技

数据是教育信息化改革创新过程中的核心资产。从大数据的角度构建高校数据治理体系，支持高校管理信息向智能化服务和教育数字化转型，已成为必然趋势。然而，高校拥有更大的数据规模、更复杂的数据类型、更密集的数据交换和对数据治理的需求。因此，数据的应用仍然或多或少困扰着许多学校。为了清除这些信息问题，充分满足高校的数据进行应用市场需求，光点科技基于在大数据研究领域积累的技术优势和实施经验，为高校提供相关数据中

光点数据治理·2023-11-30 14:51

企业数据中台（CDP）为什么突然火了？_光点科技

数据中台CDP其实是从2019年开始火的。

光点数据治理·2023-11-30 14:21

数据中台架构原理与开发实战：数据中台的数据索引与搜索

作者：禅与计算机程序设计艺术1.背景介绍随着互联网的蓬勃发展，社会数据越来越多地被收集、处理、分析并呈现出来。如何在快速变化的社会环境下有效管理、发现和利用这些海量数据，是一个非常重要的问题。2017年，英国政府发布了“数字转型”的新数据指南，要求各级政府在年底前推出基于数据的决策支持工具，对社会数据进行采集、处理、存储、分析、呈现、利用，形成信息经济。而最近十几年里，随着数据产业的兴起，数据中心

禅与计算机程序设计艺术·2023-11-30 01:38

数据中台为什么不好搞？

从2015年阿里提出“大中台”的数据中台战略，到2019年大厂及中台服务商“大兴”数据中台，再到2021年大厂又开始拆中台。数据中台从小甜甜变成牛夫人仅仅用了2年时间，为什么这么快数据中台就不香了？

码农code之路·2023-11-30 00:03

数据中台·实时开发计算平台

什么是数据中台·实时计算平台？实时计算（实时开发）是为构建一套一站式、高性能实时大数据处理平台，广泛适用于流式数据处理场景。

数据先生·2023-11-30 00:33

数据中台整体设计思路复盘

首先，什么是数据中台，由于每个企业每种项目对中台的定义不同，这里仅仅给一个概念：数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。

qq_33744471·2023-11-30 00:32

数据中台：数据模型设计

但是在数据中台构建之前，分析师经常发现⾃⼰没有可以复⽤的数据，不得不使⽤原始数据进⾏清洗、加⼯、计算指标。由于他们⼤多是⾮技术专业出⾝，写的SQL质量⽐较差，甚⾄⻅过5层以上的嵌套。这种SQ

小晨说数据·2023-11-30 00:31

阿里云数据中台核心引擎

核心引擎MaxCompute阿里离线数据计算平台（离线数仓）原名ODPS,阿里巴巴自主研发的海量数据处理平台MaxCompute处理存储在TableStore的数据（不负责收集数据到TableStore中），使用Fluentd服务（类似的服务还有kafka、LogHub、DataX等，都大同小异，这里我用Fluentd作描述只是方便），通过Fluentd我们轻松的创建任务去按时读取各台服务器上的日

hsabrina·2023-11-30 00:30

奇点云数据中台技术汇（三）| DataSimba系列之计算引擎篇

随着移动互联网、云计算、物联网和大数据技术的广泛应用，现代社会已经迈入全新的大数据时代。数据的爆炸式增长以及价值的扩大化，将对企业未来的发展产生深远的影响，数据将成为企业的核心资产。如何处理大数据，挖掘大数据的价值，让大数据为企业的发展保驾护航，将是未来信息技术发展道路上关注的重点。传统的数据处理方式通常是将数据导入至专门的数据分析工具中，这样会面临两个问题：1、如果源数据非常大时，往往数据的移动

cuba7764·2023-11-30 00:00

数据中台架构原理与开发实战：数据中台的数据分析工具与平台

然而，对于数据中台的设计、搭建、运维、应用等工作仍存在一定的难度。如何快速、高效地构建出一个满足多变性、变化快、数据量大、并发访问量大的数据服务，是一个值得研究的问题。在本文中，作者通过从用户视角

禅与计算机程序设计艺术·2023-11-30 00:30

大数据管理平台（数据中台）方案及重难点技术分析

1.大数据管理平台(数据中台)1.1.系统概述需求描述建设大数据管理中台，按照统一的数据规范和标准体系，构建统一数据采集-治理-共享标准、统一技术开发体系、统一接口API，实现数据采集、平台治理，业务应用三层解耦

打码人的日常分享·2023-11-29 14:30

如何进行指标质量治理——指标系统（提质篇）

作者介绍@小风数据中台产品负责人；UBDC全域大数据峰会“灯塔人物”；擅长埋点模型、指标治理，数仓架构等；“数据人创作者联盟”成员。01指标质量治理概述指标质量治理主要分为两个部分：提质与增效。

一个数据人的自留地·2023-11-29 08:26

华为认证大数据工程师（HCIA-Big Data）--练习题

BCDA.实时数据处理B.基于行业领域知识库快速构建数据中台C.云上数据平台快速搭建D.一站式的数据运营治理平台2、A

大沙头三马路·2023-11-29 08:05

数据中台行业发展概况及展望

随着企业业务创新不断加快，对数据开发的响应速度提出更高的要求，数据中台就诞生在这样的大背景下。

大数据v·2023-11-29 01:20

数据中台能力成熟度评估模型

会上，中国信息通信研究院云计算与大数据研究所大数据与区块链部高级业务主管王卓发布了《数据中台能力成熟度模型》框架。一.数据中台的相关背景首先，我们来介绍一下这项工作的背景。从

公众号:肉眼品世界·2023-11-28 19:25

【数据中台】开源项目（2）-Davinci可视应用平台

1平台介绍Davinci是一个DVaaS（DataVisualizationasaService）平台解决方案，面向业务人员/数据工程师/数据分析师/数据科学家，致力于提供一站式数据可视化解决方案。既可作为公有云/私有云独立部署使用，也可作为可视化插件集成到三方系统。用户只需在可视化UI上简单配置即可服务多种数据可视化应用，并支持高级交互/行业分析/模式探索/社交智能等可视化功能。开源地址：htt

码农丁丁·2023-11-28 18:25

推荐频道

数据中台