E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据治理
数据质量和
数据治理
的关系 | 京东云技术团队
很多不太了解的人会认为:
数据治理
就是干数据清洗的。近两年,在我们公司,
数据治理
团队在数据降本方面做的比较多,效果还不错,我们很多人可能以为:
数据治理
就是做数据清理的。
京东云技术团队
·
2024-01-31 04:53
京东云
java
人工智能
0016-美团OCTO万亿级数据中心计算引擎技术解析
OCTO提供了服务注册发现、
数据治理
、负载均衡、容错、灰度发布等治理功能,致力于提升研发效率,降低运维成本,并提升应用的稳定性。OCTO最新演进动态细节可参考《美团下一代服务
红苹果_小米粒
·
2024-01-31 03:47
数据质量和治理论
数据质量和
数据治理
,这个概念很大不是一两个人可以处理的问题,但是又不得不做,往往需要整个团队或者跨团队协作尽量去处理好这个事情以下是一些方法论数据质量数据质量会带来什么问题:报表数据出错,无人发现数据出现问题
orange大数据技术探索者
·
2024-01-30 20:41
#
data-other
数据治理
数据质量
数据治理
宝典!从0-1搭建企业级
数据治理
体系
数据治理
是企业数据建设必不可少的一个环节。好的
数据治理
体系可以盘活整条数据链路,最大化保障企业数据的采集、存储、计算和使用过程的可控和可追溯。如何构建企业
数据治理
体系?
小晨说数据
·
2024-01-30 18:45
数据安全
大数据
人工智能
java
数据库
数据治理
实践 | 网易某业务线的计算资源治理
由于
数据治理
层面可以分多个层面且内容繁多(包括模型合规、数据质量、数据安全、计算/存储资源、数据价值等治理内容),因此需要单独拆分为6个模块单独去阐述其中内容。
语兴数据
·
2024-01-30 15:29
大数据
spark
hive
数据治理
数据治理
实践 | 小文件治理
前言感谢关注,可以关注B站同名:语兴呀或公众号语数获取资料。小文件是数仓侧长期头痛问题,它们会占用过多的存储空间,影响查询性能。因此,我们需要采取一些措施来对小文件进行治理,以保证Hive的高效性和稳定性。在本文中,我将介绍Hive中小文件治理的方法和技巧,希望对大家有所帮助。背景小文件是如何产生的:日常任务及动态分区插入数据(使用的Spark2MapReduce引擎),产生大量的小文件,从而导致
语兴数据
·
2024-01-30 15:29
大数据
数据治理
小文件治理
数据仓库
浅谈数据中台架构设计
中台这个词在互联网行业现在越来越火了,从以前对中台一词的争议,到现在演变成各种中台产品林立,加上阿里百度等中台架构的成功,可以看到中台产品在未来一段时间都会是互联网行业非常火爆的赛道,尤其是数据中台更会是很多企业采纳的
数据治理
方案
何处生才
·
2024-01-30 14:51
【Deep Dive: Al Webinar】开源人工智能中赋能、透明性和可重复性三者之间的关系...
我们按照视频内容,大致上分成了3个大类:1.人工智能的开放、风险与挑战(4篇)2.人工智能的治理(总共12篇),其中分成了几个子类:a.人工智能的治理框架(3篇)b.人工智能的
数据治理
(4篇)c.人工智能的许可证
开源社
·
2024-01-30 10:40
开源
人工智能
银行数据仓库体系实践(12)--数据管理及治理
那
数据治理
是指对没有规范或者不符合规范的数据进行清理并建立标准和规范,那也是从这3方面着手。那这三方面的数据管理也是全行级的管理,并不仅仅限于数据仓库,只是在数据仓
南极找南
·
2024-01-30 06:56
银行数据仓库
数据仓库
大数据
spark
数仓治理-小文件治理
注:文章参考:
数据治理
实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧,希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[
爱吃辣条byte
·
2024-01-28 23:40
数据治理
大数据
数据仓库
数仓治理-数据质量治理
注:文章参考:语数-数据质量治理本期语兴从数据质量治理角度出发,与大家一起探讨数据质量治理最佳实践,之前的
数据治理
文章在网易有数官方公众号,
数据治理
课程讲解在B站(搜索:语兴呀)https://mp.weixin.qq.com
爱吃辣条byte
·
2024-01-28 23:10
数据治理
大数据
数据仓库
数仓治理-计算资源治理
注:文章参考:
数据治理
实践|网易某业务线的计算资源治理从计算资源治理实践出发,带大家清楚认识计算资源治理到底该如何进行,并如何应用到其他项目中https://mp.weixin.qq.com/s/w6d5zhDaaavNhW_DMEkPsQ
爱吃辣条byte
·
2024-01-28 23:10
数据治理
数据仓库
大数据
关于hive 的迁移 之 表结构批量迁移
image.png我们在做
数据治理
数据仓库的时候,集群数据迁移时必不可少的一项,因为什么呢,比如1刚开始集群搭在亚马逊aws,几十万美金的创业红包用完了,差不多三四个月,2aws的小规模集群也有900TB
Helen_Cat
·
2024-01-28 16:44
临床医疗大
数据治理
框架
无论如何,大模型将是未来的行业的重要方向,而沉淀在各大医疗机构的临床数据极有可能在未来发挥更大的价值,在此梳理医疗大
数据治理
体系,仅作学习记录,欢迎同行专业人士阅后探讨与指点。
一刀道人
·
2024-01-28 08:24
数据治理体系&感悟
数据治理
医疗大数据
【Deep Dive: AI Webinar】基于LLM的推荐系统中的公平与责任:确保人工智能技术的使用合乎道德...
我们按照视频内容,大致上分成了3个大类:1.人工智能的开放、风险与挑战(4篇)2.人工智能的治理(总共12篇),其中分成了几个子类:a.人工智能的治理框架(3篇)b.人工智能的
数据治理
(4篇)c.人工智能的许可证
开源社
·
2024-01-28 04:50
人工智能
搜索引擎
【Deep Dive: AI Webinar】将SAFE-D原则应用于开源人工智能中
我们按照视频内容,大致上分成了3个大类:1.人工智能的开放、风险与挑战(4篇)2.人工智能的治理(总共12篇),其中分成了几个子类:a.人工智能的治理框架(3篇)b.人工智能的
数据治理
(4篇)c.人工智能的许可证
开源社
·
2024-01-28 04:48
人工智能
开源
保险公司数据问题与
数据治理
探讨
什么是
数据治理
?
数据治理
是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合
数据治理
、从尝试处理主数据混乱状况到主数据井井有条的一个过程。
数据港
·
2024-01-27 11:04
城市开发区视频系统建设方案:打造视频基座、加强图像
数据治理
一、背景需求随着城市建设的步伐日益加快,开发区已经成为了我国工业化、城镇化和对外开放的重要载体。自贸区、开发区和产业园的管理工作自然也变得至关重要。在城市经开区的展览展示馆、进出口商品展示交易中心等地,数千路监控摄像头遍布各角落,监控设备品牌各异,大部分只能在局域网内观看。由于各区域分布广泛,布线集中管理存在困难。随着业务的发展,我们需要对这些监控设备进行集中管控,并确保在移动设备上全天候查看各辖
TSINGSEE
·
2024-01-26 10:01
解决方案
EasyCVR
音视频
安全
人工智能
城市开发区视频系统建设方案:打造视频基座、加强图像
数据治理
一、背景需求随着城市建设的步伐日益加快,开发区已经成为了我国工业化、城镇化和对外开放的重要载体。自贸区、开发区和产业园的管理工作自然也变得至关重要。在城市经开区的展览展示馆、进出口商品展示交易中心等地,数千路监控摄像头遍布各角落,监控设备品牌各异,大部分只能在局域网内观看。由于各区域分布广泛,布线集中管理存在困难。随着业务的发展,我们需要对这些监控设备进行集中管控,并确保在移动设备上全天候查看各辖
Black蜡笔小新
·
2024-01-26 10:01
EasyCVR
解决方案
音视频
人工智能
大数据
边缘计算
数字化转型当中
数据治理
的意义
后疫情时代,我们的数字化进程飞速前行。政府部门通过大数据平台采集防疫信息,各类企业开始将目光投向更多的线上业务处理。据统计,全世界在2020年创建、捕获、复制和消耗执行的数据总量为59泽字节(ZB)。数字化的作用就像一把双刃剑:一方面,我们通过数字化实现了经济增长;另一方面,纷繁的信息数据让具体的人员感到无所适从。拿企业的运行来说,它所产生的数据和数据源不胜枚举。一个企业从创立的第一天起便开始产生
qingyunliushuiyu
·
2024-01-26 09:32
BI
数字化
数字化转型
数据治理
从
数据治理
到数据应用需要多久
数据治理
是指对数据资源进行规范和管理,以确保数据的可靠性,一致性和安全性。在当今数字化时代,
数据治理
对于机构和企业非常重要,因为它可以帮助他们高效地利用数据来支持决策和创造价值。
qingyunliushuiyu
·
2024-01-26 09:02
BI
数据治理
数据治理体系
数据治理系统
数据分析
数据治理
为什么要清洗数据
为了保证数据的准确性和可靠性,
数据治理
成为了当务之急。而数据清洗作为
数据治理
的重要环节之一,更是不可或缺的一部分。
qingyunliushuiyu
·
2024-01-26 09:02
数据治理
数据清洗
数据治理体系
如何做血缘解析?
blood一、AST抽象语法树二、血缘关系类三、递归迭代血缘解析是
数据治理
中很关键的一环,本文着重讲解血缘解析的思路,如何把一段sql进行字段级别的解析,最终插入到数据库的数据表中,如下所示target_tabtarget_colsource_tabsource_colsource_flagis_validcalc_meth
我爱夜来香A
·
2024-01-25 17:57
Java开发
sql
Java
血缘
开源元数据管理平台OpenMetadata开发环境搭建
以下是一些常见的开源元数据管理平台:ApacheAtlas:ApacheAtlas是一个开源的大数据元数据管理和
数据治理
平台,旨在帮助组织收集、整理和管理数据的元数据信息。
YingCai85
·
2024-01-25 16:29
1024程序员节
大数据
maven
数据库
gitcode
银行数据仓库体系实践(3)--数据架构
狭义的数据仓库数据架构用来特指数据分布,广义的数据仓库数据架构还包括数据模型、数据标准和
数据治理
。
南极找南
·
2024-01-24 07:42
银行数据仓库
数据仓库
架构
特斯联携手华为发布联合解决方案,助力京津冀千行百业智能升级
特斯联与华为联合发布的智能
数据治理
联合解决方案基于华为昇腾算力和全场景AI框架昇思MindSp
科技赋能生活
·
2024-01-23 17:12
华为
Hive 数仓及数仓设计方案
做数仓就是做方案,是用
数据治理
企业的方案。数据仓库的特点面向主题集成公司中不同的部门都会去数据仓库中拿数据,把独立从数据仓库中拿数据的单元,称为一个主题。
Byyyi耀
·
2024-01-23 06:34
hive
hadoop
数据仓库
ubuntu22.04安装atlas2.0.0
这是本人《
数据治理
》课程的课程实验,对本人来说非常具有挑战性。环境:1、ApacheAtlas2.02、JDK1.8.0_2513、Maven3.6.3因为是课程作业,不用于生产。
playmakerlby
·
2024-01-21 15:37
大数据
大数据
maven
数据大咖都在考CDMP,你呢?
全球通行证:无论走到哪里,CDMP都是你
数据治理
领域的“全球绿卡”,让你无惧地域限制,畅游数据世界!
IT课程顾问
·
2024-01-21 11:50
DAMA
服务器
python
java
前端
后端
【Deep Dive: AI Webinar】在开放开发的开源项目中引入 AI 的挑战
我们按照视频内容,大致上分成了3个大类:1.人工智能的开放、风险与挑战(4篇)2.人工智能的治理(总共12篇),其中分成了几个子类:a.人工智能的治理框架(3篇)b.人工智能的
数据治理
(4篇)c.人工智能的许可证
开源社
·
2024-01-21 10:11
人工智能
开源
Atlas元数据处理框架:让你的大数据应用更高效、更稳定!
它广泛应用于大数据领域,帮助企业管理数据资产,分类和治理这些资产,并为数据分析和
数据治理
提供高质量的元数据信息。随着企业业务量的增长,数据量也在不断增加。
知识分享小能手
·
2024-01-21 03:26
学习心得体会
大数据
大数据
数据库
数据分析
数据集成时表模型同步方法解析
01背景介绍
数据治理
的第一步,也是数据中台的一个基础功能—即将来自各类业务数据源的数据,同步集成至中台ODS层。业务数据源多种多样,单单可能涉及到的主流关系型数据库就有近十种。
KaiwuDB 数据库
·
2024-01-20 23:58
KaiwuDB
技术博客
数据库
数据集成
数据同步
KaiwuDB
数据资产入表正式施行,企业应该怎么做
数据治理
准备工作?
2024年1月1日,《企业数据资源相关会计处理暂行规定》(以下简称《暂行规定》)正式施行,数据资产化有望迎来爆发期。依据《暂行规定》,企业可以把数据工作从“费用化”向“资本化”处理,通过数字化转型释放数据要素生产力价值的方向更为具体和清晰。上市公司如何充分发挥海量规模数据和应用场景等优势,如何解决数据难点,如何管好用好数据资产,已成为当前节点的关键命题。数据资产入表三大步骤“数据资产入表”是指在企
亿信华辰软件
·
2024-01-20 08:49
人工智能
大数据
【趣味杂谈】ChatGPT,不止是第四次工业革命的开始
5.ChatGPT的核心价值是嵌入6.ChatGPT的困境是知识污染与
数据治理
7.
smartvxworks
·
2024-01-19 17:02
趣味杂谈
chatgpt
数据/大数据项目实施
(一)近期分享内容11月底到现在,陆续和大家分享了一些内容,主要包括数据分析/大数据项目分析、数据建模及可视化、
数据治理
相关的平台、知识、示例。
贾庆华
·
2024-01-17 00:59
大数据
数据割据:当代社会
数据治理
的挑战
数据割据是指各个组织、企业或政府机构在数据的采集、存储和使用上形成了相对独立的局面,彼此之间缺乏有效的数据共享和流通机制。这种割据现象导致了数据的重复采集、冗余存储以及信息孤岛的出现,不仅浪费了大量的资源,还制约了数据的价值发挥。本文将从数据割据的原因、影响和解决方法三个方面进行探讨。一、数据割据的原因分析(一)利益冲突不同的组织或个人为了维护自身的利益,往往会对数据进行控制和保护,不愿意将数据共
正儿八经的数字经
·
2024-01-16 14:30
数字经济
大数据
新书速览|数据科学技术:文本分析和知识图谱
本书内容数据科学的关键技术包括数据存储计算、
数据治理
、结构化数据分析、语音分析、视觉分析、文本分析和知识图谱等方面。本书的重点是详细介绍文本分析和知识图谱方面的技术。
全栈开发圈
·
2024-01-16 11:59
知识图谱
人工智能
中小银行
数据治理
与数字化转型
由于内容较多,篇幅有限,完整内容请点击下方链接查看。链接:doc.danaai.net/star-pan-web/fileShare?shareKey=An6n6nAV3密码:1926
huaxi20089
·
2024-01-15 15:30
人工智能
大数据
腾讯
数据治理
企业标准建设分享
由于内容较多,篇幅有限,完整内容请点击下方链接查看。链接:doc.danaai.net/star-pan-web/fileShare?shareKey=mAFRNznaY密码:1308
huaxi20089
·
2024-01-15 15:30
大数据
数据治理
总体解决方案
数据治理
总体解决方案目录一数据管理的现状二
数据治理
的概述(一)
数据治理
概念(二)
数据治理
目标三
数据治理
体系四
数据治理
核心领域(一)数据模型(二)数据生命周期(三)数据标准(四)主数据(五)数据质量(六)
huaxi20089
·
2024-01-15 15:29
网络
数据库
大数据
Palantir vs Splunk 谁是大数据分析的领头羊
大数据已经被讨论了有将近十几年的历史了,数据的搜集方通过数据架构数据系统数据管理质量控制数据整合数据存储数据转换
数据治理
来实现生产效率的提升和成本的降低,更重要的是,这些搜集来的数据可以帮助利益相关方作出决策
颜言笔谈
·
2024-01-15 14:15
数据治理
工程师 CDGA 认证-数据管理及答案
1.组织管理数据的目标不包括(A)A.获取、存储、保护数据和确保数据资产的有效性B.确保数据和信息的质量C.确保利益相关方的数据隐私和保密性D.防止数据和信息未经授权或被不当访问a.确保数据资产的完整性,2.数据管理的原则有很多,请从下列选项中选择不正确的一条(C)A.数据管理需要企业级的视野B.数据管理是一把手工程,需要领导者承担责任C.数据管理应该由IT部门主导,业务部门配合D.数据管理包括管
jiedaodezhuti
·
2024-01-15 02:59
大数据
大数据
数据治理
工程师 CDGA-
数据治理
1.以下关于
数据治理
说法错误的是?
jiedaodezhuti
·
2024-01-15 02:59
大数据
大数据
数据治理
工程师CDGA数据架构
1.企业架构不包括哪项?(C)A业务架构B数据架构C系统架构D技术架构2.关于架构设计生命周期描述错误的是?(D)A可以是针对当前的B可以是面向未来的C可以是已实施完成的D可以是已经退役10年的3.关于企业数据模型描述准确的是哪项?(B)A企业模型包括继承关系模型、概念模型、主题域模型、逻辑模型B企业模型包括概念模型、主题域模型、逻辑模型、物理模型C企业模型包醐承关系模型、概念模型、主题域模型、逻
jiedaodezhuti
·
2024-01-15 02:59
大数据
大数据
数据治理
工程师 CDGA数据建模和设计
1.以下选项不属于数据建模和设计治理中质量管理内容的是(D)A开发数据建模和设计标准B评审数据模型以及数据库设计质量C管理数据模型版本与集成D评估数据模型运行效率2.关于实体的别名,以下对应关系不正确的是(B)A在关系模型中经常用"实体”B在维度模型中经常使用"维度"和"链接"C在面向对象模型中经常使用"类”或“对象"D在非关系型数据库模型中经常使用“文件“或“节点”3.以下关于数据建模和设计治理
jiedaodezhuti
·
2024-01-15 02:27
大数据
大数据
数字化时代,CDMP/CDGA认证企业个人都需要
数字化时代,CDMP(数据管理专业人士)和CDGA(
数据治理
工程师)认证对于企业和个人来说都是非常重要的。对于企业而言:✅为企业赋能数字化培训是企业在数字化转型中的重要考核标准之一。
IT课程顾问
·
2024-01-14 17:17
DAMA
服务器
运维
人工智能
python
java
后端
架构
(收藏)
数据治理
:一文讲透数据安全
数据治理
:一文讲透数据安全数据安全是
数据治理
的核心内容之一,随着
数据治理
的深入,我不断的碰到数据安全中的金发姑娘问题(指安全和效率的平衡)。
jackyrongvip
·
2024-01-14 12:04
网络安全等
数据安全
数据仓库(1)-总览
整体大纲如下,分为8个部分,包括认识数仓,数仓模型建设,元数据管理,指标体系,数据质量,数据安全,
数据治理
,实时技术。
XianMing的博客
·
2024-01-14 11:27
数据仓库
数据仓库
数据治理
| 还在人工识别表格呢?Python 调用百度 OCR API 又快又准
文章目录@[toc]Part1前言Part2注册百度AI平台,申请APIPart3识别表格PDF1、安装Python包2、PDF文档转为图片3、调用API,将图片识别为Excel表4、批量识别并合并为一张表Part4总结题外话Part1前言文档类型的转换(PDF,Excel等)对广大社科学者来说一直是一个不大不小,但又令人十分头疼的问题。往期的实用技能分享中我们介绍过如何OCR识别图片中的文本,也
程序员晓晓
·
2024-01-13 21:43
python
ocr
开发语言
Python学习
Python编程
爬虫
计算机
壮实学数据技术最终篇:
数据治理
经过了近2个多月的学习,我们终于来到最后一篇:
数据治理
。
数据治理
是一个大话题,在数据界会是一个越来越的话题。不信,请看百度指数。
一个数据人的自留地
·
2024-01-13 08:37
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他