数据质量

机器学习的数据管理

我们需要对数据进行分析，一般是分析数据的相关性，数据的统计，数据的分布，一般有下面这下内容(1).进行数据验证，检测错误数据，验证数据质量。比如数据的范围，数据分
歌者文明·2023-12-18 08:50

数据中台：企业数据质量参差不齐？听听专家怎么说

本文节选自《数据中台》作者：付登坡，江敏，任寅姿，孙少忆等1数据质量管理的目标数据质量管理主要解决“数据质量现状如何，谁来改进，如何提高，怎样考核”的问题。
中生代技术·2023-12-17 14:30

【华为数据之道学习笔记】5-3数据入湖标准

数据入湖是数据消费的基础，需要严格满足入湖的6项标准，包括明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。
码农丁丁·2023-12-17 10:03

大数据治理

数据治理数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，包括资产治理、数据质量监控、数据指标体系的建设等。
lz_matlab·2023-12-17 09:09

（网络二）网络布线，交换机和路由器基本原理与配置，ENSP工具

信号概念信号：是计算机在传输信息的数据过程中使用的技术手段信号一般分为模拟信号和数字信号数字信号：只有0和1两种值，因此表达的信息有限，但抗干扰能力强，传输距离远，数据质量有保障。
木合杉·2023-12-17 03:53

深度学习在人体动作识别领域的应用：开源工具、数据集资源及趋动云GPU算力不可或缺

预处理：对采集到的数据进行预处理，包括图像去噪、颜色调整等，以确保输入数据质量。特征提
virtaitech·2023-12-16 14:24

大数据和智能数据应用架构系列教程之：大数据与农业决策支持

传统的数据采集方式为人工采集、存放，并且存在各种各样的问题，比如缺乏统一管理、数据质量问题、缺乏有效反馈机制等。
禅与计算机程序设计艺术·2023-12-16 13:24

【编测编学】如何做好大数据测试

1，从数据质量模型入手，分析数据展现的规律什么是数据的质量模型？
BCBX_编测编学·2023-12-16 06:34

机器学习——数据清洗

1、数据清洗简介在处理数据之前，需要进行数据质量分析，了解数据的功能和作用，检查原始数据中是否存在脏数据。脏数据一般是指不符合要求以及不能直接进行相应分析的数据。
风月雅颂·2023-12-15 13:26

数据质量管理软件行业分析：2023年复合增长率达到31.9%

数据质量管理软件按照一般的功能模块划分可以划分为产品信息管理、存货管理、销售管理、采购管理、生产管理、设备管理、实验室管理、品质管理、售后管理等模块，质量管理绝非仅仅检验，或者常说的批检、巡检、首检、自检等
QY调研所·2023-12-14 22:23

构建满足流批数据质量监控用火山引擎DataLeap

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群面对今日头条、抖音等不同产品线的复杂数据质量场景，火山引擎DataLeap数据质量平台如何满足多样的需求？
字节数据平台·2023-12-06 04:25

入门级认证 | Salesforce管理员认证最新备考指南！

Admin认证对备考者的要求Salesforce管理员认证验证了备考者在管理客户和简档、维护数据质量、配置自动化、创建报告和仪表板，以及确保Salesforce组织的整体健康方面的专业知识。
自由侠部落Salesforce学习·2023-12-05 21:20

为什么要构建指标中台？数据指标的问题

1、综合内部实践和外部交流，指标使用问题主要集中在以下六大方面：指标口径不一致：常规数据质量问题统计中，约有31%涉及指标口径问题；指标入口不统一：缺少一个企业级的统一消费入口，不知道从哪去找，拿到了不知道口径是否一致
AIGC方案·2023-12-04 07:25

茗创：脑电-核磁-近红外数据处理业务

任务态数据时频域分析04溯源分析05功能连通性分析06网络属性分析07跨频域耦合图7.跨频域耦合08微状态分析图8.微状态分析09无标度属性分析图9.无标度属性分析10定制化分析MRI功能磁共振数据处理01数据质量检查好的数据是一切的开始
茗创科技·2023-12-03 11:56

CRM系统：实现精细化的客户管理，提升客户满意度

1、管理客户数据，提高数据质量CRM系统可以帮助企业建立多种沟通渠道，全面收集客户数据，并将这些数据储存在数据库中。这些信息包括客户基本资料、购买历史、偏好反馈等。业务人员可以通过查看客户数据，快速了
TICKI™·2023-12-03 09:50

vlookup处理数字和文本格式的数据对比

今天遇到了一个信用卡的数据问题由于这个银行的信用卡的数据直接来源于银联，根本就没有好好去维护，数据质量是一团糟，居然客户号都没有直接在信用卡系统，还得用身份证号码去核心系统的证件表去关联取，而且机构号，
limuqing_134·2023-12-03 04:38

中国湖泊面积-水位长时序数据产品（2000-2020）

数据溯源信息「数据来源描述」Landsat、HJ、ZY、Jason、ENVISAT、Cryosat、ICESat和HY「数据生成过程描述」湖泊面积提取->水位「提取数据质量信息」面积平均提取误差0.41%
DataAssassin·2023-12-03 03:37

实现数据一体化的有效措施

数据治理：数据一体化需要进行数据治理，包括数据质量管理、数据安全管理、数据标准化等，以保证数据的准确性、完整性、安全性和可靠性。数据集成：
ETLCloud数据集成社区·2023-12-03 01:51

实现数据一体化的有效措施

数据治理：数据一体化需要进行数据治理，包括数据质量管理、数据安全管理、数据标准化等，以保证数据的准确性、完整性、安全性和可靠性。数据集成：
ETLCloud数据集成社区·2023-12-03 01:21

旅游学人的旅行漫谈（十一）

旅游学人之“行”走江湖题外话...在昨天已经用完了10多篇存稿，本想暂停日更一段时间，一是作者申请失败的气还没消，二是之前说赶的那篇期刊文做完了数据收集工作，拿到法国那边项目组研究，结果发现数据质量和价值实在有点高的吓人
瞎侃的小爷VRua·2023-12-02 22:37

精细管理大数据：探索和实践

数据质量管理数据质量是大数据治理的核心要素之一。确保数据的准确性、完整性和一致性对于正确的决策和可靠的分析至关重要。以下是一个简单的Python示例，演示如何检查和清理数据集
代码指四方·2023-12-02 18:07

数据分析毕业设计 大数据高校校园学生一卡通数据分析可视化

文章目录0项目简介任务1数据导入与预处理任务1.1探查数据质量并进行缺失值和异常值处理1.1.2检查重复值1.1.3数据内容总览1.1.4数据分布总览1.1.5消费金额和消费次数观察消费金额和消费次数的散点图
kooerr·2023-12-01 22:12

iforest(孤立森林)来预测信用卡欺诈

1、数据集介绍数据还是使用信用卡的数据，数据来自于kaggle上的一个信用卡欺诈检测比赛，数据质量高，正负样本比例非常悬殊，很典型的异常检测数据集，在这个数据集上来测试一下各种异常检测手段的效果。
阿君聊风控·2023-12-01 20:28

自编码 欺诈检测代码

1、数据集介绍数据还是使用信用卡的数据，数据来自于kaggle上的一个信用卡欺诈检测比赛，数据质量高，正负样本比例非常悬殊，很典型的异常检测数据集，在这个数据集上来测试一下各种异常检测手段的效果。
阿君聊风控·2023-12-01 20:28

基于Apache doris怎么构建数据中台(五)-数据质量管理

在数据质量监管平台的规划建设中，面临如下挑战：缺乏统一监控视图，离线和实时作业监控分散，影响性、
张家锋·2023-11-30 17:48

分析一套数据中每个square中的照片良率

./*/*.mrc/x/这次的数据质量不太行，有很多照片都没有颗粒。前期只使用relion和cryoSPARC内部的参数性筛选照片后做处理，没有得到很好的重构结果，所以我
王海豚3022·2023-11-30 06:58

品牌全渠道营销系统如何与不同经销商ERP打通

全渠道营销云系统提升数据收集的速度和准确性，通过自动化流程减少人工干预，确保数据质量。这种全链路覆盖的方式不仅提高了市场反应速度，还大大降低了企业核对
轻易云系统集成平台·2023-11-30 02:56

【开题报告】海洋多源数据质量控制应用服务的WebServer设计与实现

海洋环境监测数据质量对于海洋环境“数字化”、海洋科学的研究和海洋经济的发展，都具有十分重要的意义。首先，海洋环境监测数据作为海洋环境“数字化”的重要
java学长·2023-11-29 12:49

ProcessDB实时/时序数据库——C/C++查询历史时序数据

++使用ProcessDB的基本操作，本文将针对历史时序数据的相关操作进行介绍一、历史时序数据字段介绍字段注释id数据点idname数据点名value实时数据值nTagType数据类型nQuality数据质量
ProcessDB·2023-11-28 19:53

亚信安慧AntDB MTK数据同步工具之数据稽核

数据稽核也可以帮助组织发现数据质量问题、识别潜在的数据错误，并为数据管理和决策提供可靠的基础。本文介绍了MTK数据稽核的功能以及操作步骤。MTK
亚信安慧AntDB数据库·2023-11-27 12:02

R语言之数据清洗与准备

library(mlbench)#将会使用到包中的BostonHousing数据集library(funModeling)#探索性数据分析工具包，本节内容中将会使用到它的status()函数，打印整体数据质量
侍伟·2023-11-26 12:00

大数据质量管理工具-Apache Griffin

概述数据质量模块是大数据平台中必不可少的一个功能组件，ApacheGriffin（以下简称Griffin）是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数据质量检测方式，可以从不同维度（比如离线任务执行完毕后检查源端和目标端的数据数量是否一致
reco171·2023-11-25 13:07

穿越数据的迷宫-数据管理知识介绍

章重点阐述了数据管理的重要性，数据管理的挑战，DAMA的数据管理原则，数据伦理，数据治理，数据生命周期管理的规划和设计，数据赋能和数据维护，使用和增强数据，数据保护、隐私、安全和风险管理，元数据管理，数据质量管理
大数据食铁兽·2023-11-24 16:21

实时分析海量新数据的难点 和解决方案

2.数据质量的保障：海量新
29597739c454·2023-11-24 15:56

数据治理的意义及方式

其目的是提高数据质量、降低风险、提高数据价值、增强组织的决策能力。什么是数据质量？数据质量管理的目标是什么？答：数据质量指数据是否准确、一致、完整、准时、可靠、有效和安全。
一凡คิดถึง·2023-11-24 15:50

数据治理技术之数据清洗

数据清洗背景数据质量一般由准确性、完整性、一致性、时效性、可信性以及可解释性等特征来描述，根据Rahm等人在2000年对数据质量基于单数据源还是多数据源以及问题出在模式层还是实例层的标准进行分类，将数据质量问题分为单数据源模式层问题
白牛DATA·2023-11-24 15:15

【数字化转型方法论读书笔记】-数据中台五要素

1、数据伴随移动互联网的发展，数据量呈爆发式增长，不同规模、不同类型的企业都面临数据质量问题。多变的用户需求和商业场景也增加了数据的复杂性。
码农丁丁·2023-11-23 15:52

加班做报表被嘲低效！快用大数据分析工具

做数据分析报表很耗时间，因为不仅要解决多业务系统数据质量标准不一问题，还需要进行大量的公式计算、报表设计与制作。但那是以前，在大数据分析工具强势崛起的当下，这些工作都能交给大数据分析工具来做了。
qq_43696218·2023-11-23 10:29

数据集成实施过程注意点总结

2.数据质量和一致性保证数据的质量和一
ETLCloud数据集成社区·2023-11-22 18:03

一文了解数据治理全知识体系！

本文从数据治理的误区、元数据管理、数据质量管理、数据资产管理等4个方面整理出数据治理的一套经验总结，给予数据治理相关工作的同仁们一些借鉴参考。01数据治理有哪些误区？
shining_yyds·2023-11-22 09:05

更加优雅的因子挖掘技术之自动化特征工程

图片一、为什么要自动化特征工程对机器学习有一些了解的小伙伴一定听过“GarbageinGarbageout”，也就是说模型的表现很大程度上依赖于喂给算法的数据质量。
Joe量化·2023-11-22 05:03

数据治理入门

处理模式模式名称常见场景常见框架批处理夜间几个小时，无人值守hivesparkdatax流处理7*24H一直运行，无人值守maxwell,flink,flume,kafka即席处理人机交互接口访问web页面数据治理的意义数据质量低
十七✧ᐦ̤·2023-11-22 04:36

数据质量校验

1.事实表包含昨日数据2.昨日同比趋势分析圆通业务量较为平稳，每日数据量和昨日比差距不足20%，会做数据量的昨日环比差距分析
for your wish·2023-11-21 12:12

第二章：小试牛刀——深度学习初探

在实际的工业应用和研究中，我们面临的数据总是多种多样，数据质量参差不齐，因此具体怎么处理仍要看工作的实际需求和任务的实
Yzy_Carlisle·2023-11-21 00:07

情商？

原因是我没有发现数据质量不好，但是他老是在群里说我们家的数据差，有问题，而且怼的我很不舒服。所以我就随便抽了他们家5个账号的数据全都整理一遍，然后发现跟他说的并不是一回事儿，所以我就找他去沟通了。
思齐001·2023-11-20 17:42

DCMM数据管理能力成熟度等级划分

DCMM（数据管理能力成熟度评估模型）是我国首个数据管理领域国家标准，定义了数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生存周期八个核心能力域及28个能力项，并以组织、制度
新标科技·2023-11-20 06:49

大数据环境下数据质量指标体系

来源：大数据技术团队一、数据质量评价现状1、数据质量评价模型现状为了清晰表达一些复杂和抽象的概念，构建科学的模型或框架是开展数据质量评价工作的首要任务，多数学者在研究时均从不同角度提出了数据质量评价的框架
hzbooks·2023-11-20 01:45

第五篇：数据库系统的实现

本文主要讨论数据库系统实现过程中的重点环节、基本开发流程、数据库管理以及数据质量工程等话题。参照完整性约束对更新删除操作的影响在第三篇(传送门)中，我们已经讨论过，关系设计的目
weixin_34198453·2023-11-19 17:32

数据库系统的实现

目录前言参照完整性约束对更新删除操作的影响索引机制触发器机制数据库系统开发流程数据库系统管理数据质量体系小结前言前面的文章中，主要都是在围绕关系数据库理论进行研究，没有涉及到数据库系统的具体实现。
#码道老刘#·2023-11-19 17:00

Python中，我们可以使用pandas和numpy库对Excel数据进行预处理，包括读取数据、数据清洗、异常值剔除等

文章目录一、什么是`数据预处理`二、对`excel数据`进行详细的`数据预处理操作`总结一、什么是数据预处理数据预处理是一种对数据进行清洗、整理、转换等操作的过程，旨在提高数据质量，使其适应模型的需求，
小桥流水---人工智能·2023-11-19 09:18
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他