---数据质量第16页

最全！!数据挖掘准备工作1——数据探索

数据探索通过检验数据集的数据质量、绘制图表、计算某些特征量等手段，对样本数据集的结构和规律进行分析的过程就是数据探索。数据探索有助于选择合适的数据预处理和建模方法。

沐锹·2023-02-03 07:47

企业数据治理

企业数智化道路是一条漫长的路，它要经历自动化-数字化-智能化三个阶段；我们企业属于初级阶段，为了达到数据决策的目的需对数据治理，管理数据质量。

liujinying123·2023-02-02 22:29

【机器学习】横向联邦学习&纵向联邦学习区别

文章目录背景简介横向联邦学习纵向联邦学习参考背景简介现实生活中，除了少数巨头公司能够满足，绝大多数企业都存在数据量少，数据质量差的问题，不足以支撑人工智能技术的实现；同时国内外监管环境也在逐步加强数据保护

杨小浩浩hh·2023-02-02 14:02

大数据--数据仓库3--数据质量/元数据/数据治理

数据一致性如何保证1.1数据不一致性的体现1.2数据一致性的目标1.3数据一致性思考方向1.4数据一致性具体如何保证1.4.1统一命名规范1.4.2研发流程规范1.4.3研发工具保障1.4.4指标结果监控二：数据质量管理

斑马！·2023-02-02 09:03

数据仓库建设 —— 数据质量管理

借助海量的数据，企业进行了深层次的数字化改革，把数据当成了企业发展的核心，但无效的数据即使规模再大，也对企业没有意义，所以数据质量也就愈发重要。

派可数据BI可视化·2023-02-02 09:02

E. 数据仓库 --- 数据管理能力成熟度评估模型

数据管理能力成熟度评估模型数据战略数据战略规划数据战略实施数据战略评估数据治理数据治理组织数据制度建设数据治理沟通数据架构数据模型数据分布数据集成和共享元数据管理数据应用数据分析数据开放分享数据服务数据安全数据安全策略数据安全管理数据安全审计数据质量数据质量需求数据质量检查数据质量分析数据质量提升数据标准业务术语参考数据和主数据数据元指标数据数据生存周期数据需求数据设计和开发数据运维

micklongen·2023-02-02 09:55

数据仓库-元数据管理

现在数据对于公司的决策十分的重要，随着业务的发展，业务线会慢慢庞大起来，随着开发人员的变更以及增多，没有元数据治理，很难保证数据质量

大数据点滴·2023-02-02 09:24

数据仓库-数据质量管理

一、数据质量管理定义数据质量管理（DataQualityManagement），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、

大数据点滴·2023-02-02 09:17

树家族基础-决策树篇（基于spark）

（3）缺失值-C4.5算法不敏感目录1、数据质量要求maxBins=32表示离散化连续变量分区个数最大值2、原理解释（1）白话原理（2）场景

月笼纱lhz·2023-02-02 09:03

python猫狗大战讲解_机器学习 | 猫狗大战

建议阅读时长8分钟前言对于机器学习来说，数据的重要性无可厚非，大部分处理机器学习的问题都是在处理数据，包括数据的清洗，归一化等，好的数据质量能大大提高模型的预测性能但是对与初学者来说，数据变得不那么重要

weixin_39717367·2023-02-01 17:12

【数据质量】一起聊聊数据质量

GarbageIn,GarbageOut数据质量关注的是数据的健康，数据健康和人的健康很相似，人的健康会影响人的生活品质，同样数据的健康会影响数据的使用品质。

zhulangfly·2023-02-01 08:10

新手Salesforce管理员看过来：如何设置全新的Salesforce环境？

每个公司的要求不同，并且对数据质量有不同

自由侠部落salesforce·2023-02-01 07:02

数据挖掘-数据探索

数据探索就是通过检验数据集的数据质量、绘制图表、计算某些特征量等手段，对样本数据集的结构和规律进行分析的过程。数据探索可以从数据质量分析和数据特征分析等两个角度进行展开。一．数据质量分析数据质

莫虚度·2023-01-30 15:02

挖掘建模②—分类与预测（python实现简单线性关系多项式拟合/回归）

基础知识及数据分析工具安装及简单使用(Numpy/Scipy/Matplotlib/Pandas/StatsModels/Scikit-Learn/Keras/Gensim))数据探索（数据清洗）①——数据质量分析

eeenkidu·2023-01-30 09:36

什么是湖仓一体

数据湖回顾在之前的文章《什么是数据湖》中提到数据湖遇到的几个挑战：什么是数据湖_白月蓝山的博客-CSDN博客不支持事务，缺乏对数据质量和治理的约束，缺乏性能优化的手段。

zxfBdd·2023-01-30 07:05

数据分析实战45讲笔记四

很多时候，我们拥有多少数据源，多少数据量，以及数据质量如何，将决定我们挖掘产出的成果会怎样。我们需要通过多源的数据采集，收集到尽可能多的数据维度，同时保证数据的质量，这样才能得到高质量的数据挖掘结果。

小蛙的根据地·2023-01-30 06:18

谈谈数据项目的挑战

01数据质量，横亘在理想与现实之间那道坎企业想从数据里面发掘价值，首先需要有数据，大部分企业面临的问题不是无数据可用，而是无可用数据。

聂子云·2023-01-29 11:23

数据分析详解（数据预处理+基于随机森林特征工程+机器学习完全版）

然而，实际系统中的数据一般无法直接满足数据挖掘算法的要求，因此必须对数据进行预处理，以提高数据质量，使之符合数据挖掘算法的规范和要求。数据

Zouia Gail·2023-01-29 11:02

异常数据检测平台

异常值会对数据质量以及其数据构建的模型造成一定负面影响。于是，在工作中，我们需要对数据进行异常值检测，尽可能将异常值识别出来。异常数据平台就是基于此目的而展开的一个项目。

chengyue98·2023-01-29 09:55

数据管理数据质量检测

完整性，一致性，准确性，及时性完整性指数据信息是否缺失。一致性指数据是否遵循统一的规范。准确性指数据记录的信息是否存在异常或错误。及时性指数据从产生到可以查看的时间间隔。

etheon·2023-01-28 17:40

数据治理篇-元数据: datahub概述

前言.元数据是数据治理的灵魂1.元数据之于数据治理数据治理是一个庞大的系统，其中主要包括数据管控，数据质量，数据安全，数据标准。

larluo_罗浩·2023-01-27 18:20

【PRML读书笔记-Chapter1-Introduction】1.3 Model Selection

如果训练集的数据质量很好，那我们只需对这些有效数据训练处一堆模型，或者对一个模型给定系列的参数值，然后再根据测试集进行验证，选择效果最好的即可；大多数情况下，数据集大小是有限的或质量不高，那么需要有个第三测试集

weixin_30390075·2023-01-27 08:47

EDA 数据探索分析简要方法记录数据处理

分为：（1）数据质量分析（跟数据清洗密切联系）：缺失值分析、异常值分析、一致性分

Rong&Chuan·2023-01-27 08:49

美团OneData建设探索之路：SaaS收银运营数仓建设

但由于缺乏前期规划，导致后期数仓出现了严重的数据质量问题，这给数据治理工作带来了很大的挑战。

数据智能谷·2023-01-27 05:24

2019 Year Review_1

数据质量也较差，经常会出现上下游业务系统数据不一

赛琳娜林·2023-01-26 16:28

如何成为一名数据分析师：数据的初步认知

在本文的讲解中，会将数据的初步认知划分为三大步骤：数据质量检查、数据类型认知、指标值统计。一、数据质量检查1)关注不同数据源在统计质量上的差异不同的数据来源，

杏仁技术站·2023-01-25 11:24

[数据分析方法论]如何成为一名数据分析师：数据的初步认知

在本文的讲解中，会将数据的初步认知划分为三大步骤：数据质量检查、数据类型认知、指标值统计。

A_1236·2023-01-25 11:26

【机器学习】缺失值的处理方法总结

若没有好的数据，那么训练得到的模型效果也不会有所提高，可见数据质量对于数据分析而言是

旅途中的宽~·2023-01-22 07:05

apache griffin数据质量平台安装过程

ApacheGriffin安装过程前言（本文是我写在word上再转成markdown产生的，转换过程中容易把一些英文字符转成中文字符，虽再三校对，难免还是有疏漏）为学习搭建griffin数据质量平台，在官方教程的基础上

ayoonching·2023-01-21 16:40

[Pytorch图像分类全流程实战] Task01:构建自己的图像分类数据集

运行的平台选择了Kaggle的GPU，白piao方法某站有数据质量决定算法质量老师给的数据测试集81个文件夹，训练集也81个文件夹也可以自己找具体流程大致如下：D很重要【A】安装配置环境!

pink_storm·2023-01-21 14:32

TransBigData 针对交通时空大数据处理的Python包

包括栅格化、数据质量分析、数据预处理、数据集计、轨迹分析、GIS处理、地图底图加载、坐标与距离计算、数据可视化等通用方法。

小旭学长·2023-01-19 21:12

《数据清洗》知识总结------第一章数据清洗概述

涉及内容：数据清洗的背景/定义/原理/基本流程/策略与方法1.1数据清洗的背景数据质量的好坏决定了数据分析与数据挖掘能否获得理想的结果。

一只瓜瓜·2023-01-17 10:24

大数据的处理之数据清洗

消失在人海中·2023-01-17 10:23

主数据与参考数据的定义与相互联系

，通过阅读DAMA数据管理知识体系，学习了我们在信息系统建设和系统数据整合过程中用到主数据和参考数据的相互关系，明确了两者的定义与异同点，使得我们了解到主数据和参考数据的重要性，应该说两者对数据治理、数据质量

一马平川的大草原·2023-01-17 07:21

大数据测试内容

数据质量也是大数据测试的一个重要因素。

wqchibingshaonian·2023-01-17 07:40

数据质量测试：测试数据有效性和准确性的方法

如果西西弗斯（编者注：希腊神话中的人物）是一个数据分析师或数据科学家，他在山上滚动的巨石将是他的数据质量保障。

测试界的飘柔·2023-01-17 07:09

大数据测试入门介绍

数据质量也是大数据测试的一个重要因素。它涉及检查各种字段，如一致性，准确性，重复性，有效性，数据完整性等。大数据测试主要采用灰盒测试方法

loveysuxin·2023-01-17 07:07

大数据预处理kettle课堂笔记

工具的基本使用第三章基于kettle的书导入与导出第四章数据清理第五章Kettle的作业设计第六章构建数据仓库第七章基于Pythond的数据导入与导出第八章基于Python的数据整理第一章数据预处理概述1.数据背景--影响数据质量的因素

阿楷不当程序员·2023-01-16 10:47

挖掘建模⑤—因子分析与python实现

基础知识及数据分析工具安装及简单使用(Numpy/Scipy/Matplotlib/Pandas/StatsModels/Scikit-Learn/Keras/Gensim))数据探索（数据清洗）①——数据质量分析

eeenkidu·2023-01-14 10:00

数据治理系列(四)：数据质量管理

一、什么是数据质量管理？

四月天03·2023-01-12 11:32

“数实融合”新时代，解读数据治理的新风向！

数据质量的高低、数据价值的挖掘，是影响企业发展的关键要素之一。

·2023-01-11 12:23

木桶排序算法_【生信常识】二代测序的比对算法浅析

废话不多说，我们开始本次的主题吧~相信大家日常跑数据的时候总是要从检查数据质量，比对，转换格式，差异分析这么一套既定的流程对我们的rna-seq或者chip-seq数据进行

梦游前生·2023-01-11 08:28

数据治理：数据质量管理策略！

数据质量管理包含正确定义数据标准，并采用正确的技术、投入合理的资源来管理数据质量。数据质量管理策略和技术的应用是一个比较广泛的范畴，它可以作用于数据质量管理的事前、事中、事后三个阶段。

·2023-01-10 17:26

RNA-seq——上游分析练习2（数据下载+trim-galore+hisat2+samtools+featureCounts）

目录软件安装新建文件夹一、下载数据二、质控过滤1.数据质量检测2.数据质量控制3.对处理后的数据再次QC三、序列比对1.hisat2比对2.flagstat检查一下结果四、featureCounts定量写在前面

Dzfly..·2023-01-09 13:10

数据挖掘学习

数据搜集数据质量分析数据类型考点：描述统计和数据可视化描述统计方法：可视化数据正确性数据有效性方法考点：数据预处理缺失数据噪声数据去噪方法1.回归法2.分箱-均值平滑离群点分析分析方法：Box-Cox变换方法

银晗·2023-01-08 12:46

python医疗发票信息抽取_数据预处理之抽取文本信息（2）

数据预处理主要是将原始数据经过文本抽取、数据清理、数据集成、数据处理、数据变换、数据降维等处理后，不仅提高了数据质量，而且

weixin_39626690·2023-01-06 10:34

数仓构建-架构与模型设计

DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。数仓分层在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（O

胜利的曙光·2023-01-06 01:24

Python数据分析与挖掘实战期末考复习（抱佛脚啦）

目录一、数据质量分析1-1数据分析常用的第三方库1-2异常值分析二、数据特征分

今天又有什么bug·2023-01-05 22:16

基于 Amazon 云端数据质量治理解决方案

数据质量治理是数据治理中的一个重要环节，它对于一个面向数字化转型的企业来说尤为重要，而目前市场上缺乏完全基于Amazon的、全面覆盖业务和技术需求的数据质量治理整体解决方案的服务。

亚马逊云开发者·2023-01-05 10:53

海量数据的稽核方案

客户的需求是这样的:每天从业务系统抽取数据到数据平台，每个表的数据量过亿要求针对这两部分数据每天进行稽核，精确到字段，以保证“数据质量”，并针对差异数据形成相关报表。针对上述场景，形成解决方案。

程序员柒叔·2023-01-04 23:09

推荐频道

---数据质量