【数据治理】

Apache Atlas元数据 最全资料

第1章介绍atlas是apache下的大数据的元数据管理和数据治理平台，是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎
丨Apricity丨·2023-10-13 18:46

Hadoop生态系统的元数据管理和数据治理平台--Atlas 学习

最近在规划数据治理的功能，所以研究了一下ApacheAltasAtlas介绍Atlas是apache下的大数据的元数据管理和数据治理平台，是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目
m0_67401660·2023-10-13 18:16

Hadoop的元数据治理--Apache Atlas0.8

Hadoop的元数据治理--ApacheAtlasApacheAtlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎
大跃ET·2023-10-13 18:15

Apache Atlas精讲：由浅入深，从概念，原理，使用，到自定义数据模型，生成血缘关系，带你玩转Atlas

AtlasRestApi详解及示例结语引言ApacheAtlas是托管于Apache旗下的一款元数据管理和治理的产品，目前在大数据领域应用颇为广泛，可以很好的帮助企业管理数据资产，并对这些资产进行分类和治理，为数据分析，数据治理提供高质量的元数据信息
小螺旋丸·2023-10-13 18:15

Docker下的Apache-Atlas元数据治理组件安装

Docker下的Apache-Atlas元数据治理组件安装一、Docker镜像制作组件版本一、安装JDK二、安装MAVEN安装zookeeper安装hadoop安装hbase，在hive之前安装hive
Amorji·2023-10-13 18:45

Apache Atlas数据治理和元数据框架

ApacheAtlas元数据框架一、概述二、特点1.元数据类型&实例(Metadatatypes&instances)2.分类(Classification)3.血缘(Lineage)4.搜索/发现(Search/Discovery)5.安全和数据屏蔽三、高级架构1.Atlas的架构2.核心层(Core)3.集成层(Integration)4.元数据源层(Metadatasources)5.应用层
lightupworld·2023-10-13 18:15

【技术分享】 数据治理工具Apache Atlas初体验

ApacheAtlas就是为解决这些问题而产生的数据治理工具，利用Atlas可以自动构建数据字典，自动生成数据血缘，快速检索数据资源，不仅支持Hadoop生态的Hive、HBase、Sqoop等组件，还可以支持传统关系型数据
yestolife123·2023-10-13 18:14

Apache atlas 元数据管理治理平台使用和架构

1、前言ApacheAtlas是托管于Apache旗下的一款元数据管理和治理的产品，目前在大数据领域应用颇为广泛，可以很好的帮助企业管理数据资产，并对这些资产进行分类和治理，为数据分析，数据治理提供高质量的元数据信息
白鸽呀·2023-10-13 18:13

HIVE小文件合并

【数据治理】HIVE小文件合并开启动态分区，并设置文件大小，重新insertsethive.support.concurrency=fals;sethive.exec.dynamic.partition
关掉别看了，再学就秃啦！·2023-10-13 08:26

什么是主数据管理？企业主数据管理方法论

对企业来说，主数据的重要性如何强调都不为过，主数据治理是企业数据治理中最为重要的一环。主数据管理的内容包括主数据管理标准、主数据应用标准和主数据集成服务标准三大类。主数据管理的作用是什么？
CORNERSTONE365·2023-10-12 18:01

数据治理的核心是什么？_光点科技

数据治理是当今数字化时代中企业管理的关键组成部分。在信息爆炸的时代，企业积累了大量的数据，这些数据不仅是企业宝贵的资产，也是推动业务决策和创新的重要驱动力。
光点数据治理·2023-10-12 16:30

“五度情报站”微信小程序上线，让情报信息唾手可得！

‘五度易链’作为中国产业大数据服务先锋，围绕企业对于情报信息的多元化需求，依托全体量产业大数据及强大的数据治理能力，打造了轻量级高效能的微信小程序应用‘企业情报信息监测分析系统-五度情报站’。
五度易链-产业大数据服务解决方案提供商·2023-10-12 13:25

CDGA数据治理工程师考试心得

CDGA就是数据治理工程师（CertifiedDataGovernanceAssociate），“DAMA中国”组织的数据治理方面的职业认证考试。2.是否需要培训？
只爱大锅饭·2023-10-11 02:39

电子科大软件系统架构设计——系统架构设计

文章目录系统架构设计系统设计概述系统设计定义系统设计过程系统设计活动系统设计基本方法系统设计原则系统设计方法分类面向对象系统分析与设计建模过程系统架构基础系统架构定义系统架构设计定义系统架构作用系统架构类型系统总体架构系统拓扑架构系统拓扑架构类型系统拓扑架构技术演化阶段系统拓扑架构案例系统数据架构系统数据分层架构设计系统数据治理架构设计系统数据存储架构设计数据架构设计案例
Palp1tate·2023-10-10 14:05

多项能力升级，助力企业提升全链路数据治理能力！

Dataphin（智能数据建设与治理）是阿里巴巴集团数据治理方法论基于内部实践的产品化输出，致力于帮助企业用中台方法论治理企业级好数据，构建起质量可靠、消费便捷、生产安全经济的企业级数据中台。
瓴羊企业智能服务·2023-10-09 18:28

2020-05-13关于数据需求的分类

实时准实时离线从研发角度划分：数据接入需求：业务接入、日志接入、埋点接入数据开发需求：数仓建模、统计开发、算法开发数据输出需求：离线报表、离线决策、在线报表、在线决策数据管理需求：流程管理、规范管理、资产管理、数据治理
Simple701·2023-10-08 09:37

大数据之巅：深入分析数据湖架构的优势

数据湖的优势1.弹性扩展性2.多样化的数据3.原始数据保存4.成本效益5.灵活性和创新6.基于云的部署数据湖的挑战1.数据治理2.查询性能3.安全性4.数据发现结论欢迎来到AIGC人工智能专栏~大数据之巅
IT·陈寒·2023-10-08 08:30

一文讲透什么是数据治理和数据管理

数据管理和数据治理有很多地方是互相重叠的，它们都围绕数据这个领域展开，因此这两个术语经常被混为一谈。
宋懵懵的数据生活·2023-10-07 17:56

什么是DCMM认证？什么是数据管理能力成熟度评估？

该标准将组织对象的数据管理划分为八大能力域（数据战略、数据治理、数据架构、数据标准、数据质量、数据安全、数据应用、数据生存周期），并对每项能力域进行了二级能力项（28个能力项）和成熟度等级的划分（
hb13370587609·2023-10-07 10:40

DCMM认证是什么

DatamanagementCapabilityMaturityModel，简称：DCMM）借鉴国内外成熟度相关理论思想，结合数据生命周期管理各个阶段的特征，对数据管理能力进行了分析、总结，提炼出组织数据管理的八大能力域（数据战略、数据治理
kdrz_·2023-10-07 10:40

DCMM认证评审要求

自身业务交易产生的结构化数据总量：100G及以上（证据：提供信息系统清单、各信息系统主要的数据范围以及存储量）；2.具有专职的数据管理人员：2人及以上（证据：提供正式发布的岗位说明书以及人员资质证明）；3.具有数据治理
dong17605413502·2023-10-07 10:39

火山引擎 ByteHouse：TB 级数据下，如何实现高效、稳定的数据导入

活动主要从数据分析、数据治理、研发提效等角度，带领数据领域从业者全面了解数智化转型背景下的火山引擎数据飞轮模式在数据资产建设上的技术与实践。其中，火山引擎ByteHouse产品专家受邀
字节数据平台·2023-10-05 19:32

一站式大数据开发治理DataWorks学习

大数据开发治理平台DataWorks产品文档大数据开发治理平台DataWorks体验馆一站式大数据开发治理DataWorks使用宝典一站式大数据开发治理DataWorks学习路径实验：全链路数据治理实践
qiufeng1ye·2023-10-03 17:49

浅谈数据质量管理

数据质量管理不是一时的数据治理手段，而是循环的管理过程。数据质量管理不仅包含了对数据质量的改善，同时还包含了对组织的改善。
000X000·2023-10-02 10:30

别和我说您懂数据治理，这些方面你做到了吗？

图片发自App数据治理有一套标准的方法论，涵盖从获取到使用到处置的整个数据生命周期。
数据治理侠·2023-09-30 10:42

DAMA-DMBOK2重点知识整理CDGA/CDGP——第16章 数据管理组织与角色期望

、数据管理组织的结构4、关键成功因素5、建立数据管理组织6、数据管理组织与其他数据相关机构之间的沟通7、数据管理角色一、分值分布CDGA：4分（4单选）CDGP：0分二、重点知识梳理1、引言数据管理和数据治理组织需要足够灵活
醉酒的戈多·2023-09-29 08:21

产品解读 | 数据服务平台：KDP

KDP是一款面向AIoT场景的数据服务平台——以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、数据治理
KaiwuDB 数据库·2023-09-28 21:17

马哈鱼——数据治理中Oracle SQL和存储过程的数据血缘分析

数据治理中的一个重要基础工作是分析组织中数据的血缘关系。有了完整的数据血缘关系，我们可以用它进行数据溯源、表和字段变更的影响分析、数据合规性的证明、数据质量的检查等。
chensuper·2023-09-28 16:20

解析数据仓库里的"元数据管理"

引言元数据管理是企业数据治理的基础，是数据仓库的提升；作为一名数据人，首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位。
秋夜雨凉·2023-09-28 16:15

华为：数据治理方法论

导读 本文先概要介绍了数据治理框架、数据治理组织架构和数据治理度量评估体系，然后结合华为数据治理案例和新冠疫情简单描述了数据治理的应用，最后描述了DAYU方法论在DataArtsStudio产品上的落地以及详细的落地指导文档
大数据食铁兽·2023-09-28 06:36

数据治理：数据标准建设方法和流程

1引言数据标准就是通过制定一套由管理制度、管控流程、技术工具共同组成的体系，来对数据定义、分类、格式、编码等标准化管理。通俗地讲，对企业来说，数据标准就是对数据类型、长度、归属部门等定义一套统一的规范，以保障不同业务系统之间可以做到对同样的数据理解统一和使用统一。01什么是数据标准？数据标准根据不同的数据域分为基础、分析类和专有类三类，其中：基础类数标是企业日常业务开展过程中所产生的具有共同业务特
智慧化智能化数字化方案·2023-09-27 19:03

数据治理系列：数据标准管理

目录数据标准：数据标准建设方法和流程01什么是数据标准？02为什么需要数据标准？1、数据共享难以实现2、数据同名不同义导致错误3、沟通成本增加4、数据来源不明03数据标准分类1、从数据结构角度进行的数据标准分类2、从数据内容来源进行的数据标准分类3、从技术业务角度进行的数据标准分类04数据标准建设方法和流程1、数据标准规划，2、数据标准现状调研，3、数据标准设计，4、数据标准实施映射，5、数据标准
Alex_81D·2023-09-27 19:31

产品解读 | 数据服务平台：KDP

KDP是一款面向AIoT场景的数据服务平台——以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、数据治理
·2023-09-27 16:55

什么是数据中台？全面解读数据中台的定义

一、定义数据中台数据中台是一种集成了数据管理、数据治理、数据服务等多个方面的平台。它旨在为企业提供稳定、高效、安全的数据支持和服务，从而帮助企业更好地进行数字化转型。
·2023-09-25 19:02

数仓命名规范

1.词根设计规范词根属于数仓建设中的规范，属于元数据管理的范畴，现在把这个划到数据治理的⼀部分。
后季暖·2023-09-25 16:15

企业级数据目录实战：从组织、方法、流程到平台

自2021年启动企业级数据治理工作，做的第一个事情就是打造企业级数据目录，今天就来谈谈企业级数据目录的构建之路。
后季暖·2023-09-25 16:45

数据湖在爱奇艺数据中台的应用

在实施数据治理的过程中，我们不断吸收新的理念，引入尖端的工具，以精细化我们的数据体系管理。“数据湖”作为近年来数据领域广泛热议的概念，其技术层面也受到了业界的广泛关注。
爱奇艺技术产品团队·2023-09-24 18:31

Mysql 学习总结（89）—— Mysql 库表容量统计

前言统计每个库每个表的大小是数据治理中最简单的一个要求，下面从抽样统计结果及精确统计结果两方面来统计MySQL的每个库每个表的数据量情况。
科技D人生·2023-09-24 11:17

提升政府决策水平和保障数据交易安全的角度谈一谈如何开展数据治理

为解决大数据创新应用面临的问题，“数据治理”的概念应运而生。数据治理主要聚焦在治理目
治理之路·2023-09-24 02:41

数据分析思维学习1：业务指标、数据获取、数据仓库、数据治理、数据分析方法

数据分析入门实战最近上了一个关于数据分析思维的网课，内容比较偏业务上的实际应用，关注点更多在于数据思维。以下是我在学习过程中的笔记整理。文章目录数据分析入门实战第一章数据分析与数据分析师数据分析思维是什么第二章业务指标与指标体系2.1什么是指标，如何找到正确的指标1.什么是指标，什么是维度2.好的指标3.快的指标2.2北极星指标及其重要性1.什么是北极星指标？2.北极星指标有什么用？3.如何选择北
真是喵啊·2023-09-23 13:34

数据治理-组织触点

协调工作的一部分包括为数据治理工作制定组织接触点采购和合同：首席数据官与供应商/合作伙伴的管理部门或者采购部门合作，制定和执行有关数据管理合同的标准文本。
世润·2023-09-23 04:13

数据治理-元数据度量指标

要想测量元数据的影响，就需要验证缺少元数据导致的影响，作为风险评估的一部分，将数据使用者搜索信息所花费的时间作为评估指标，以便在实施元数据解决方案后体现改进过程。元数据管理实施的有效性可以根据元数据本身的完整性、与其关联的日常操作以及元数据的使用情况来度量。元数据管理环境的建议指标包括：元数据存储库完整性；元数据管理成熟度；专职人员配备；业务术语活动；主数据服务数据遵从性；元数据文档质量；元数据存
世润·2023-09-23 04:43

数据治理-规范化

规范化是运用规则将复杂的业务转化为规范的数据结构的过程，范式化的基本目标是保证每个属性只在一个位置出现，以消除冗余或冗余导致的不一致性。整个过程需要深入理解每个属性，以及每个属性与主键的关系。规范化规则根据主键和外键整理属性。规范化规则将归类到不同规范层次，对每一个层次可应用更细的方式和规范性来搜索正确的主键和外键。每个级别由独立的范式组成，并且每个相继级别不需要包含以前的级别，范式的层级包括：第
世润·2023-09-23 04:36

数据治理-工具和方法

数据治理从根本上讲是关于组织行为的，这不是一个可以通过技术解决的问题，但是，仍然需要一些工具支持整个过程。
世润·2023-09-22 23:53

数据治理-数据资产估值

数据生命周期大多数阶段涉及成本。数据只有使用时才有价值，使用时数据还产生与风险相关的成本。因此，当使用数据的经济效益超过了上述成本时，就会显现其价值。其他的度量价值的方式包括：替换成本。数据替换或恢复的成本。包括组织内的交易、域、目录、文档和指标信息等；市场价值。兼并或收购企业时作为企业资产的价值；发现商机。通过交易数据或者售卖数据，从数据中发现商机获取的收入价值；售卖数据。一些组织为产品或销售将
世润·2023-09-22 23:23

数据治理-元数据扫描

对元数据存储库的扫描有两种不同的方式：专用接口。采用单步方式，扫描程序从来源系统采集元数据，直接调用特定格式的装载程序，将元数据加载到元数据存储中，在此过程中，不需要输出任何中间元数据文件，元数据的采集和装载也是一步完成的。半专用接口。采用两步方式，扫描程序从来源系统中采集元数据，并输出到特定格式的数据文件中。扫描程序只产生目标存储库能够正确读取和加载的数据文件。数据文件可以被多种方式读取，所以这
世润·2023-09-22 23:48

数据安全与销毁：数据安全已经上升到了国家战略层面

日前，中央全面深化改革委员会审议通过了《关于构建数据基础制度更好发挥数据要素作用的意见》（下称《意见》），明确提出“把安全贯穿数据治理全过程”。
淼一销毁·2023-09-22 15:04

python保存txt_python保存成文本文件

操作步骤选择菜单栏中“数据治理另外一种可能是：文档在文件系统中作为简单的文本文件存储。在这种情况下，数据库可以用于存储全文索引并且执行搜索，同时可以使用一些唯一标识
weixin_39603265·2023-09-22 06:05

数据治理-EDRM电子取证

EDRM是电子取证标准和指南的组织，该框架提供了一种电子取证的方法，对于涉及确定相关内部数据的存储方式和位置、适用什么保留策略、哪些数据不可访问以及哪些工具可用于协助识别流程的人员来说，这种方法非常方便。EDRM模型假定数据或信息治理已到位。该模型包括8个可以迭代的电子取证阶段，随着电子取证的发展，可取证的数据和信息的数量大大减少，因为它们的相关性大大增加。在辨认阶段，它有两个子阶段。早期案例评估
世润·2023-09-22 02:50

数据治理-交互模型

交互模型描述了在系统之间建立连接以传送数据的方式。点对点共享数据系统之间的绝大多数交互都是“点对点”的，他们直接相互传递数据。这个模型在一小组系统的上下文中是行得通的。但是，当许多系统需要来自同一来源的相同数据时，它会很快变得效率低下并增加组织风险。具体有以下几个方面：影响处理。如果源系统是操作型的，那么提供数据的工作量肯能会影响交易处理；管理接口。点对点交互模型所需的接口的数量接近系统数量的平方
世润·2023-09-22 02:50
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他