数据治理

离线数仓-数据治理

目录一、前言1.1数据治理概念1.2数据治理目标1.3数据治理要解决的问题1.3.1合规性元数据合规性数据质量合规性数据安全合规性1.3.2成本存储资源成本计算资源成本二、数据仓库发展阶段2.1初始期2.2
爱吃辣条byte·2024-02-03 13:51

百分点科技：《数据科学技术: 文本分析和知识图谱》

这个过程涉及数据存储计算、数据治理、结构化数据分析、数据可视化等数据科学关键技术。随着智能化应用的发展，文本分析和知识图谱技术的重要性日益凸显，成为推动数据科
Percent_bigdata·2024-02-03 06:42

百分点科技：《数据科学技术: 文本分析和知识图谱》

这个过程涉及数据存储计算、数据治理、结构化数据分析、数据可视化等数据科学关键技术。随着智能化应用的发展，文本分析和知识图谱技术的重要性日益凸显，成为推动数据科
Percent_bigdata·2024-02-03 06:05

专业数据治理：数据中台系统塑造企业未来的数字化运营管理新秩序

随着信息化进程的快速推进，数据已然成为企业最为宝贵的资产。对于众多企业而言，如何有效整合、治理以及充分利用这些数据，使之成为推动业务发展的引擎，成为当前难题。数据中台应运而生，它被认为是企业数字化转型的至关重要的组成部分，为企业提供了崭新的数据管理和应用模式。数据作为数字化经营的基础生产要素，同时也扮演着重要的战略资源角色，乃至是数字化经营平台不可或缺的基石。数据中台的引入不仅将企业有用数据的边界
亿发软件YiFaRJ·2024-02-02 23:36

数据治理体系建设

数据治理是银行实现数字化转型、提升核心竞争力的重要手段，也是银行信息化建设的重要组成部分。数据治理体系是银行构建数据质量和数据标准的组织体系，包含组织、制度、流程等，为银行提供统一的数据标准和规范。
悦数图数据库·2024-02-02 07:54

DataFunSummit：2023年数据治理在线峰会：核心内容与学习收获（附大会核心PPT下载）

为了更好地管理和利用数据，数据治理已经成为了企业关注的焦点。数据治理（DataGovernance）是组织中涉及数据使用的一整套管理行为。
百家峰会·2024-02-01 10:17

Hadoop 已死，AI 吞噬世界！

在数据领域，AI正逐步重塑数据处理和分析的各个环节，从ETL、数据治理到数据分析和消费方式均会发生根本性变化。
CSDN资讯·2024-02-01 09:50

必读人工智能数据管理的要点！

在数据治理中，您可能希望包括以下要素：可用性数据提供给有需求的人员访问和使用。本文将回答企业中可访问数据人员的问题。易用性数据是结构化、已标注且易于使用的。数据科学家花费大量时间整理数据以使其可用。
澳鹏Appen·2024-02-01 05:11

考证攻略：架构师必备证书大盘点

3️⃣DAMA数据治理认证：
IT课程顾问·2024-01-31 20:41

数据血缘——基于单机版Neo4j实现数据血缘的管理

更重要的是，数据血缘能够为数据治理、质量监控、风险控制、信息价值发现等方面提供强有力的支持，使数据的管理和使用更加精确、高效和透明。本篇文章将重点介绍数据血缘
CarsonBigData·2024-01-31 20:25

【Deep Dive: AI Webinar】数据合作和开源人工智能

我们按照视频内容，大致上分成了3个大类：1.人工智能的开放、风险与挑战（4篇）2.人工智能的治理（总共12篇），其中分成了几个子类：a.人工智能的治理框架（3篇）b.人工智能的数据治理（4篇）c.人工智能的许可证
开源社·2024-01-31 14:01

Day 1378：数据治理

数据源管理原则第一条：所有关键数据必须认证数据源。关键数据是指影响公司经营、运营报告的数据，在公司范围内统一发布。第二条：数据管理专业组织为关键数据指定源头，数据源必须遵从信息架构和标准，经信息架构专家委员会认证后成为数据源。第三条：所有关键数据仅能在数据源录入、修改，全流程共享，其他调用系统不能修改。下游环节发现的数据源质量问题，应当在数据源进行修正。第四条：所有应用系统必须从数据源或数据源镜像
kafkaliu·2024-01-31 10:53

AI大模型专题：2024大模型安全流通平台市场厂商评估报告

大模型训练及应用全流程可大致分为数据治理、预训练、微调、应用四个环节，每个环节均有安全需求。全流程安全是大模型及其要素高效流通的必要条件之一。厂
人工智能学派·2024-01-31 07:13

数据质量和数据治理的关系 | 京东云技术团队

很多不太了解的人会认为：数据治理就是干数据清洗的。近两年，在我们公司，数据治理团队在数据降本方面做的比较多，效果还不错，我们很多人可能以为：数据治理就是做数据清理的。
京东云技术团队·2024-01-31 04:53

0016-美团OCTO万亿级数据中心计算引擎技术解析

OCTO提供了服务注册发现、数据治理、负载均衡、容错、灰度发布等治理功能，致力于提升研发效率，降低运维成本，并提升应用的稳定性。OCTO最新演进动态细节可参考《美团下一代服务
红苹果_小米粒·2024-01-31 03:47

数据质量和治理论

数据质量和数据治理，这个概念很大不是一两个人可以处理的问题，但是又不得不做，往往需要整个团队或者跨团队协作尽量去处理好这个事情以下是一些方法论数据质量数据质量会带来什么问题：报表数据出错，无人发现数据出现问题
orange大数据技术探索者·2024-01-30 20:41

数据治理宝典！从0-1搭建企业级数据治理体系

数据治理是企业数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路，最大化保障企业数据的采集、存储、计算和使用过程的可控和可追溯。如何构建企业数据治理体系？
小晨说数据·2024-01-30 18:45

数据治理实践 | 网易某业务线的计算资源治理

由于数据治理层面可以分多个层面且内容繁多（包括模型合规、数据质量、数据安全、计算/存储资源、数据价值等治理内容），因此需要单独拆分为6个模块单独去阐述其中内容。
语兴数据·2024-01-30 15:29

数据治理实践 | 小文件治理

前言感谢关注，可以关注B站同名：语兴呀或公众号语数获取资料。小文件是数仓侧长期头痛问题，它们会占用过多的存储空间，影响查询性能。因此，我们需要采取一些措施来对小文件进行治理，以保证Hive的高效性和稳定性。在本文中，我将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助。背景小文件是如何产生的：日常任务及动态分区插入数据（使用的Spark2MapReduce引擎），产生大量的小文件，从而导致
语兴数据·2024-01-30 15:29

浅谈数据中台架构设计

中台这个词在互联网行业现在越来越火了，从以前对中台一词的争议，到现在演变成各种中台产品林立，加上阿里百度等中台架构的成功，可以看到中台产品在未来一段时间都会是互联网行业非常火爆的赛道，尤其是数据中台更会是很多企业采纳的数据治理方案
何处生才·2024-01-30 14:51

【Deep Dive: Al Webinar】开源人工智能中赋能、透明性和可重复性三者之间的关系...

我们按照视频内容，大致上分成了3个大类：1.人工智能的开放、风险与挑战（4篇）2.人工智能的治理（总共12篇），其中分成了几个子类：a.人工智能的治理框架（3篇）b.人工智能的数据治理（4篇）c.人工智能的许可证
开源社·2024-01-30 10:40

银行数据仓库体系实践（12）--数据管理及治理

那数据治理是指对没有规范或者不符合规范的数据进行清理并建立标准和规范，那也是从这3方面着手。那这三方面的数据管理也是全行级的管理，并不仅仅限于数据仓库，只是在数据仓
南极找南·2024-01-30 06:56

数仓治理-小文件治理

注：文章参考:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[
爱吃辣条byte·2024-01-28 23:40

数仓治理-数据质量治理

注：文章参考：语数-数据质量治理本期语兴从数据质量治理角度出发，与大家一起探讨数据质量治理最佳实践，之前的数据治理文章在网易有数官方公众号，数据治理课程讲解在B站（搜索：语兴呀）https://mp.weixin.qq.com
爱吃辣条byte·2024-01-28 23:10

数仓治理-计算资源治理

注：文章参考:数据治理实践|网易某业务线的计算资源治理从计算资源治理实践出发，带大家清楚认识计算资源治理到底该如何进行，并如何应用到其他项目中https://mp.weixin.qq.com/s/w6d5zhDaaavNhW_DMEkPsQ
爱吃辣条byte·2024-01-28 23:10

关于hive 的迁移 之 表结构批量迁移

image.png我们在做数据治理数据仓库的时候，集群数据迁移时必不可少的一项，因为什么呢，比如1刚开始集群搭在亚马逊aws，几十万美金的创业红包用完了，差不多三四个月，2aws的小规模集群也有900TB
Helen_Cat·2024-01-28 16:44

临床医疗大数据治理框架

无论如何，大模型将是未来的行业的重要方向，而沉淀在各大医疗机构的临床数据极有可能在未来发挥更大的价值，在此梳理医疗大数据治理体系，仅作学习记录，欢迎同行专业人士阅后探讨与指点。
一刀道人·2024-01-28 08:24

【Deep Dive: AI Webinar】基于LLM的推荐系统中的公平与责任：确保人工智能技术的使用合乎道德...

我们按照视频内容，大致上分成了3个大类：1.人工智能的开放、风险与挑战（4篇）2.人工智能的治理（总共12篇），其中分成了几个子类：a.人工智能的治理框架（3篇）b.人工智能的数据治理（4篇）c.人工智能的许可证
开源社·2024-01-28 04:50

【Deep Dive: AI Webinar】将SAFE-D原则应用于开源人工智能中

我们按照视频内容，大致上分成了3个大类：1.人工智能的开放、风险与挑战（4篇）2.人工智能的治理（总共12篇），其中分成了几个子类：a.人工智能的治理框架（3篇）b.人工智能的数据治理（4篇）c.人工智能的许可证
开源社·2024-01-28 04:48

保险公司数据问题与数据治理探讨

什么是数据治理？数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。
数据港·2024-01-27 11:04

城市开发区视频系统建设方案：打造视频基座、加强图像数据治理

一、背景需求随着城市建设的步伐日益加快，开发区已经成为了我国工业化、城镇化和对外开放的重要载体。自贸区、开发区和产业园的管理工作自然也变得至关重要。在城市经开区的展览展示馆、进出口商品展示交易中心等地，数千路监控摄像头遍布各角落，监控设备品牌各异，大部分只能在局域网内观看。由于各区域分布广泛，布线集中管理存在困难。随着业务的发展，我们需要对这些监控设备进行集中管控，并确保在移动设备上全天候查看各辖
TSINGSEE·2024-01-26 10:01

城市开发区视频系统建设方案：打造视频基座、加强图像数据治理

一、背景需求随着城市建设的步伐日益加快，开发区已经成为了我国工业化、城镇化和对外开放的重要载体。自贸区、开发区和产业园的管理工作自然也变得至关重要。在城市经开区的展览展示馆、进出口商品展示交易中心等地，数千路监控摄像头遍布各角落，监控设备品牌各异，大部分只能在局域网内观看。由于各区域分布广泛，布线集中管理存在困难。随着业务的发展，我们需要对这些监控设备进行集中管控，并确保在移动设备上全天候查看各辖
Black蜡笔小新·2024-01-26 10:01

数字化转型当中数据治理的意义

后疫情时代，我们的数字化进程飞速前行。政府部门通过大数据平台采集防疫信息，各类企业开始将目光投向更多的线上业务处理。据统计，全世界在2020年创建、捕获、复制和消耗执行的数据总量为59泽字节（ZB）。数字化的作用就像一把双刃剑：一方面，我们通过数字化实现了经济增长；另一方面，纷繁的信息数据让具体的人员感到无所适从。拿企业的运行来说，它所产生的数据和数据源不胜枚举。一个企业从创立的第一天起便开始产生
qingyunliushuiyu·2024-01-26 09:32

从数据治理到数据应用需要多久

数据治理是指对数据资源进行规范和管理，以确保数据的可靠性，一致性和安全性。在当今数字化时代，数据治理对于机构和企业非常重要，因为它可以帮助他们高效地利用数据来支持决策和创造价值。
qingyunliushuiyu·2024-01-26 09:02

数据治理为什么要清洗数据

为了保证数据的准确性和可靠性，数据治理成为了当务之急。而数据清洗作为数据治理的重要环节之一，更是不可或缺的一部分。
qingyunliushuiyu·2024-01-26 09:02

如何做血缘解析?

blood一、AST抽象语法树二、血缘关系类三、递归迭代血缘解析是数据治理中很关键的一环,本文着重讲解血缘解析的思路,如何把一段sql进行字段级别的解析,最终插入到数据库的数据表中,如下所示target_tabtarget_colsource_tabsource_colsource_flagis_validcalc_meth
我爱夜来香A·2024-01-25 17:57

开源元数据管理平台OpenMetadata开发环境搭建

以下是一些常见的开源元数据管理平台：ApacheAtlas：ApacheAtlas是一个开源的大数据元数据管理和数据治理平台，旨在帮助组织收集、整理和管理数据的元数据信息。
YingCai85·2024-01-25 16:29

银行数据仓库体系实践（3）--数据架构

狭义的数据仓库数据架构用来特指数据分布，广义的数据仓库数据架构还包括数据模型、数据标准和数据治理。
南极找南·2024-01-24 07:42

特斯联携手华为发布联合解决方案，助力京津冀千行百业智能升级

特斯联与华为联合发布的智能数据治理联合解决方案基于华为昇腾算力和全场景AI框架昇思MindSp
科技赋能生活·2024-01-23 17:12

Hive 数仓及数仓设计方案

做数仓就是做方案，是用数据治理企业的方案。数据仓库的特点面向主题集成公司中不同的部门都会去数据仓库中拿数据，把独立从数据仓库中拿数据的单元，称为一个主题。
Byyyi耀·2024-01-23 06:34

ubuntu22.04安装atlas2.0.0

这是本人《数据治理》课程的课程实验，对本人来说非常具有挑战性。环境:1、ApacheAtlas2.02、JDK1.8.0_2513、Maven3.6.3因为是课程作业，不用于生产。
playmakerlby·2024-01-21 15:37

数据大咖都在考CDMP，你呢？

全球通行证：无论走到哪里，CDMP都是你数据治理领域的“全球绿卡”，让你无惧地域限制，畅游数据世界！
IT课程顾问·2024-01-21 11:50

【Deep Dive: AI Webinar】在开放开发的开源项目中引入 AI 的挑战

我们按照视频内容，大致上分成了3个大类：1.人工智能的开放、风险与挑战（4篇）2.人工智能的治理（总共12篇），其中分成了几个子类：a.人工智能的治理框架（3篇）b.人工智能的数据治理（4篇）c.人工智能的许可证
开源社·2024-01-21 10:11

Atlas元数据处理框架：让你的大数据应用更高效、更稳定！

它广泛应用于大数据领域，帮助企业管理数据资产，分类和治理这些资产，并为数据分析和数据治理提供高质量的元数据信息。随着企业业务量的增长，数据量也在不断增加。
知识分享小能手·2024-01-21 03:26

数据集成时表模型同步方法解析

01背景介绍数据治理的第一步，也是数据中台的一个基础功能—即将来自各类业务数据源的数据，同步集成至中台ODS层。业务数据源多种多样，单单可能涉及到的主流关系型数据库就有近十种。
KaiwuDB 数据库·2024-01-20 23:58

数据资产入表正式施行，企业应该怎么做数据治理准备工作？

2024年1月1日，《企业数据资源相关会计处理暂行规定》(以下简称《暂行规定》)正式施行，数据资产化有望迎来爆发期。依据《暂行规定》，企业可以把数据工作从“费用化”向“资本化”处理，通过数字化转型释放数据要素生产力价值的方向更为具体和清晰。上市公司如何充分发挥海量规模数据和应用场景等优势，如何解决数据难点，如何管好用好数据资产，已成为当前节点的关键命题。数据资产入表三大步骤“数据资产入表”是指在企
亿信华辰软件·2024-01-20 08:49

【趣味杂谈】ChatGPT，不止是第四次工业革命的开始

5.ChatGPT的核心价值是嵌入6.ChatGPT的困境是知识污染与数据治理7.
smartvxworks·2024-01-19 17:02

数据/大数据项目实施

（一）近期分享内容11月底到现在，陆续和大家分享了一些内容，主要包括数据分析/大数据项目分析、数据建模及可视化、数据治理相关的平台、知识、示例。
贾庆华·2024-01-17 00:59

数据割据：当代社会数据治理的挑战

数据割据是指各个组织、企业或政府机构在数据的采集、存储和使用上形成了相对独立的局面，彼此之间缺乏有效的数据共享和流通机制。这种割据现象导致了数据的重复采集、冗余存储以及信息孤岛的出现，不仅浪费了大量的资源，还制约了数据的价值发挥。本文将从数据割据的原因、影响和解决方法三个方面进行探讨。一、数据割据的原因分析（一）利益冲突不同的组织或个人为了维护自身的利益，往往会对数据进行控制和保护，不愿意将数据共
正儿八经的数字经·2024-01-16 14:30

新书速览|数据科学技术：文本分析和知识图谱

本书内容数据科学的关键技术包括数据存储计算、数据治理、结构化数据分析、语音分析、视觉分析、文本分析和知识图谱等方面。本书的重点是详细介绍文本分析和知识图谱方面的技术。
全栈开发圈·2024-01-16 11:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他