数据质量

微信月活破10亿，安全性靠谁来支撑？

事实上，微信安全数据仓库不仅仅是一个存储中心，更是一个特征管理和数据质量管理的中心。本文将介绍安全数据仓库的起源、演进、
腾讯云开发者·2023-07-22 18:24

揭秘数据探查：引领企业数据治理质量提升，助力业务高速发展！

造成这种困境的原因，大致有三点：1）数据量大且混乱、数据质量参差不齐；2）整体概括信息缺乏，度量信息如最大值、最小值、平均值、汇总值、方差、中位数等，维度信息如枚举值分布等，均不能直接对用户可见；3）元数据管理不完善
美林数据Tempodata·2023-07-22 18:15

业务数据又多又杂，该如何高效开展数据治理？

某集团目前有近百套系统，数据分散在各个系统内，且业务范围广泛，数据来源复杂，随着集团业务系统的建设和推广应用，数据质量不高、数据标准不一、数据难以互通共享融合、系统之间存在数据壁垒等问题逐渐显现，制约了集团的业务发展和水平提升
美林数据Tempodata·2023-07-22 18:44

数据预处理

而在数据准备的过程中，数据质量差又是最常见而且令人头痛的问题。本文针对缺失值和特殊值这种数据质量问题，进行了初步介绍并推荐了一些处理方法。
wuxianfeng1987·2023-07-22 13:40

大数据_面试_数据仓库基础概念

数据质量？数据治理？
高达一号·2023-07-22 08:07

大数据-你投的简历真的是你认为的工作么？

我的个人主页个人主页我的B站视频B站视频数仓岗位jd钱途⭐⭐⭐⭐⭐看内容是否包含模型建设、etl、调度、监控、数据质量、数据治理、阿里云组件、spark/flink、熟悉一门语言等这些关键词例负责数据体系的研发设计和建设
辉常努腻·2023-07-21 17:28

大数据实验报告总结体会_建设大数据中台架构思考与总结

数据中台定义：集成离线数仓与实时数仓，并以多数据源统一整合采集到kafka,再通过kafka进行离线数据仓库及实时数据仓库，并集用户标签，统一数据资产管理(对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示
weixin_39800387·2023-07-21 14:43

建设数据中台的主要目的

建设数据中台的主要目的是解决企业在发展的过程中，由于数据的激增与业务的扩大而出现的统计口径不一致、重复开发、指标开发需求响应慢、数据质量低、数据成本高等问题。
能得·2023-07-21 13:01

数据治理和数据中台中对于数据安全的考虑是非常有必要的

数据治理通常包括数据定义、数据质量管理、数据安全管理、数据存储和备份等方面。
zhang9880000·2023-07-21 12:55

【Talend、Informatica、Dataiku都是常用的数据治理工具，它们各有哪些特点和优势？】

Talend提供了强大的数据质量功能，可以帮助用户快速识别和修复数据质量问题，保证数据的准确性和可靠性。Talend支持多种
zhang9880000·2023-07-21 12:24

学一点儿基因组组装

1.下机数据质量控制主要是针对低质量的reads和含有adapter的reads，我事先并不知道adapter序列，所以就只过滤了低质量的reads。
TOP生物信息·2023-07-20 23:31

河北幸福消费金融基于 Apache Doris 构建实时数仓，查询提速 400 倍！

基于此，公司决定搭建数据中台，从基于TDH的离线数仓再到基于ApacheDoris的实时数仓，最终统一了数据出口，提升了数据质量，并实现查询速度近400倍的提升。
SelectDB技术团队·2023-07-20 09:27

Griffin POC

ApacheGriffin是一个应用于分布式数据系统中的开源数据质量解决方案。在Hadoop,Spark,Storm等分布式系统中，提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。
安徒生·2023-07-20 02:48

数据质量相关问题系列

数据质量问题是什么？数据质量，是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。而数据质量问题是指数据集中存在无法容忍的缺陷，从而降低该数据的可靠性和可信度。
Elseide艾思·2023-07-19 14:23

SQL聚合函数和窗口函数

.创建表格插入数据2.常见聚合函数3.GROUPBY聚合函数3.1GROUPBY子句3.2多列GROUPBY3.3HAVING子句3.4使用GROUPBY函数查找缺失值3.5使用GROUPBY函数衡量数据质量
talle2021·2023-07-19 11:16

使用更少数据训练更好的alpaca

概述该论文的研究背景是指令微调在大型语言模型中取得了重要的成果，但现有的训练数据质量问题导致模型性能下降。
无数据不智能·2023-07-19 08:16

SQLLineage.com（分析SQL的数据血缘关系）

而数据的多样性和差异性使得数据生产不得不不断的迭代处理逻辑，分层数仓的设计简化了单层数据模型的设计，但增加了额外的计算资源消耗，当出现数据质量问题时更是质控者的噩梦。
ding__lin·2023-07-16 14:36

数据清洗

从两个角度上看，数据清洗一是为了解决数据质量问题，二是让数据更适合做挖掘。不同的目的下分不同的情况，也都有相应的解决方式和方法。在此简略描述一下，若有错误，请指出，不胜感激！
羊羔叔_·2023-07-16 09:56

管理脑电研究：准备工作以及质控方案

包括EEG数据质量监控、实验方案
茗创科技·2023-07-16 08:09

CSDN 个性化推荐的数据治理

目录1.背景2.数据治理2.1从内容层面提升数据质量2.2从用户层面提升数据质量2.3增加特定数据的曝光2.4保证数据的正确性与实效性3.总结相关阅读CSDN个性化推荐系统的设计和演进如何支持研发对CSDN
Alexxinlu·2023-07-16 00:49

数据可观测性，下一个数据工程前沿

在数据管道中的每一个节点去检测数据质量以保证及时地发现问题，因此数据可观测性将更有效地保证可靠有效的数据流，以确保业务团队和公司高管能及时做出重要决策和采取行动。为什么需要数据可观测性？
和心数据·2023-07-14 22:39

数据可观测性-架构设计

整体架构Datavines[github]是一个数据可观测性系统，旨在帮助企业减少“数据宕机时间”，帮助企业能够在数据错误导致损失之前及时发现数据错误，它具有数据目录管理、数据质量监控和SLAs等功能。
和心数据·2023-07-14 22:24

火山引擎 DataLeap 构建Data Catalog系统的实践（二）：技术与产品概览

技术与产品概览架构设计元数据的接入元数据接入支持T+1和近实时两种方式上游系统：包括各类存储系统（比如Hive、Clickhouse等）和业务系统（比如数据开发平台、数据质量平台等）中间层：ETLBridge
字节数据平台·2023-07-14 08:48

Hive表统计信息采集及应用

背景在大数据平台建设过程中，数据治理是不可或缺的一环，优秀的数据治理可以保证数据质量，数据安全等，并能够更有效的利用资源。
邢为栋·2023-07-14 07:58

架构之争：数用一体VS数用分离，谁才是永远滴神

2smardaten数用一体的架构2.1smardaten数用一体架构组件和特点2.2smardaten平台的“数”2.2.1数据接入2.2.2数据集成2.2.3数据管理2.2.4数据标准管理2.2.5数据质量管理
不吃西红柿丶·2023-07-13 18:26

浅谈数据二-数据的质量分析与特征分析

而探索离不开数据质量分析和特征分析这两方面。数据质量分析数据质量分析是数据预处理的前提条件，也是分析结论的有效性以及
封不然·2023-06-24 12:48

ChatGPT的训练过程需要多长时间？

数据收集和预处理阶段的时间取决于所使用的数据源、数据规模和数据质量，可能需要几天到几周的时间。2.模型架构设计和参
心似浮云️·2023-06-24 06:14

如何在机器学习中处理长尾数据分布？丨曼孚科技

如果代码质量是区分软件系统好坏的标准，那么数据质量便是区分AI系统智能化的标准。对模型来说，使用正确的数据不可或缺。而实际训练中，常出现场景数据分布不均衡的现象，长尾数据就是其中一个特例。
·2023-06-23 16:31

一站式数据可观测性平台 Datavines 正式开源啦

Datavines是一站式开源数据可观测性平台，提供元数据管理、数据概览报告、数据质量管理，数据分布查询、数据趋势洞察等核心能力，致力于帮助用户全面地了解和掌管数据，让您做到心中有数，目前作为Datavane
朝和(zixi0825)·2023-06-23 08:10

数据治理(数据模型,数据规范,数据安全,数据成本,元数据,数据质量等)

数据治理无论是在数仓建设过程中还是数仓建设完成之后都是及其重要的，是数据部门基础建设的必经之路，是降本提效，形成企业数据资产的关键一环一数据质量管理1.1数据质量基本概念●数据质量管理（DataQualityManagement
大数据私房菜·2023-06-23 01:23

数据治理中Oracle SQL和存储过程的数据血缘分析

有了完整的数据血缘关系，我们可以用它进行数据溯源、表和字段变更的影响分析、数据合规性的证明、数据质量的检查等。
liuheping233·2023-06-23 01:53

SQLFlow 数据血缘分析 工具 注册教程

一、SQLFlow是什么随着大数据技术的发展与普及，数据治理和数据质量变得越来越重要，数据血缘分析在业界悄然兴起并得到了广泛流行，今天推荐一款专业且易用的数据血缘分析工具--SQLFlow。
liuheping233·2023-06-23 01:22

SQLFlow 数据血缘分析工具注册教程

一、SQLFlow是什么随着大数据技术的发展与普及，数据治理和数据质量变得越来越重要，数据血缘分析在业界悄然兴起并得到了广泛流行，今天推荐一款专业且易用的数据血缘分析工具--SQLFlow。
chensuper·2023-06-23 01:49

火山引擎 Dataleap 数据质量解决方案和最佳实践（一）：数据质量挑战

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群什么是数据质量广义上来说，数据质量的定义是数据满足一组固有特性（质量维度）要求的程度。
字节数据平台·2023-06-22 22:02

一站式数据可观测性平台 Datavines 正式开源啦

`Datavines`是一站式开源数据可观测性平台，提供元数据管理、数据概览报告、数据质量管理，数据分布查询、数据趋势洞察等核心能力，致力于帮助用户全面地了解和掌管数据，让您做到心中有数，目前作为`Datavane
孙朝和·2023-06-22 15:00

火山引擎 Dataleap 数据质量解决方案和最佳实践（一）：数据质量挑战

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群什么是数据质量广义上来说，数据质量的定义是数据满足一组固有特性（质量维度）要求的程度。
·2023-06-22 10:39

数据中台与传统大数据平台有什么区别？_光点科技

第二，数据中台几乎囊括了所有相关的系统，包括数据采集、同步，数据开发，数据质量管理、数据标准、元数据、数据建模和开发，数据服务(API)，数据安全管理，运维管理等等。中
光点数据治理·2023-06-22 09:38

Apache Atlas产品调研

元数据管理还须符合数据标准、较高的数据质量、数据安全、数据共享、合理顺滑管理流程。在存储、计算和人力成本合理可控、可管理的前提下，使数据价值得到最大发挥，是数据全生命周期管
wxl_winston·2023-06-22 08:59

【ArcGIS Pro二次开发】(38)：清理字段值（空格、空值）

由于一些不规范的输入，或是其它数据转换而来，要素类或者独立表的字段值经常含有空值、空格等影响数据质量的内容。这个工具的目的就是清理、转换这些字段内容，提高数据质量。
规划GIS会·2023-06-21 18:49

Fabarta 图增强数据血缘治理解决方案

因此，金融机构需要建立完善的数据治理机制，充分保障数据质量，才能够为业
·2023-06-21 10:35

2022-03-10-NLP文本场景的数据优化

数据增强主要在CV应用中比较常见，然而由于NLP任务天生的难度，类似CV的裁剪方法可能会改变语义，既要保证数据质量又要保证多样性，所以大家在做数据增强时要十
deepindeed·2023-06-21 02:01

阿里云Dataworks

Dataworks介绍Dataworks是阿里云数据工厂是阿里云重要的产品，主要提供：数据集成、数据开发、数据地图、数据质量，数据服务等全方位的产品服务，一站式开发管理的界面，支持多种计算和存储引擎服务一
橘子洲zzj·2023-06-20 23:03

大数据测试基本知识

大数据测试常用到的软件工具工具推荐，对于测试数据构造工具有：Datafaker、DbSchema、Onlinetestdatagenerator等；ETL测试工具有：RightData、QuerySurge等；数据质量检查工具
小赖同学啊·2023-06-20 18:10

跟我一起总结【数据仓库】之——实施经验

《数据仓库设计文档》贴源层-标准层-基础数据层-集市层-应用层，(Excel结构参照模板)《数据质量检验记录》针对数
SunWuKong_Hadoop·2023-06-20 15:28

2023年CDGA考试模拟题库(501-600)

使用劣质数据充满风险,会损害组织的声誉,导致罚款、收入损失、客户流失和负面的媒体曝光等组织基于各种业务驱动因素而着手进行数据质量管理活动,下列哪项不属于上述驱动因素?
BuckData·2023-06-20 09:28

高效处理大地测量数据的神器：FaultResampler——基于数据质量和断层平面位置优化故障滑动反演分辨率的解析与实践

大家好，我是一名热衷于科研和技术分享的作者。近期在进行大地测量数据处理的工作中，我发现了一个非常有趣且实用的工具——FaultResampler。本文将深入解析FaultResampler的工作原理，并通过实例代码详细介绍如何使用它来优化故障滑动反演的分辨率。希望这些内容能对你们的学习和工作有所帮助。项目下载FaultResampler是一个专为大地测量数据（例如GPS、InSAR、光学偏移等）的
快撑死的鱼·2023-06-20 08:24

数学建模常用模型（一）：灰色预测法

数学建模常用模型（一）：灰色预测法灰色预测法是一种用于处理少量数据、数据质量较差或者缺乏历史数据的预测方法。它适用于一些非线性、非平稳的系统，尤其在短期预测和趋势分析方面有着广泛的应用。
红狐狸的北北记·2023-06-20 06:35

关于数据仓库那点事，一文捋清

借助海量的数据，企业进行了深层次的数字化改革，把数据当成了企业发展的核心，但无效的数据即使规模再大，也对企业没有意义，所以数据质量也就愈发重要。
派可数据BI可视化·2023-06-19 21:06

如何管控数据？

01数据管控背景数据管控是在做大数据平台包括传统BI都需要做的工作，数据从各个数据源过来，我们都要进行数据质量的管理，也就是我们常说的数据治理。那么在数据仓库建设的时候如何进行数据管控呢？
jane9872·2023-06-19 20:44

MATRIX DATA——专业数字货币量化投资者所需要的数据服务

但是在使用过多家数据服务后，我们发现他们的数据质量完全满足不了我们自己研究的需求。Coinmarketcap，BTC，AIcoin，非小号等等，并不害
DATA菌·2023-06-19 07:14
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他