数据质量

2020-10-16

按照市、县调研方案及动态调整要求，逐户排查贫困户政策落实情况，进一步核实数据质量，录入帮扶措施等；同时，与贫困户进行深入座谈交流，了解实际困难，帮助做好村容村貌、户容户貌及群众精神面貌整治提升，切实提高群众满意度和政策知晓度
序言李·2023-08-18 18:20

数据质量管理概述

数据质量管理：对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段可能引发的各类数据质量问题，进行识别、度量、监控、预警等一些列管理活动。
七_seven·2023-08-17 14:47

数据仓库架构和建设方法论

在企业级数据应用上单一业务使用方便，且灵活多变；但涉及到跨业务、多部门联合应用就会存在：①数据来源多样化，管理决策数据过于分散；②数据缺乏标准，难以整合；③数据口径不统一，可信度低；④缺乏数据管控体系，数据质量难
此木Y·2023-08-17 12:52

数仓建模方法论

大数据的数仓建模正是通过建模的方法，更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点，一般我们会从以下面四点考虑：性能：能够快速查询所需的数据，减少数据I/O的吞吐。
浪尖聊大数据-浪尖·2023-08-17 12:51

【数据管理】什么是数据管理？

文章目录前言常见内容主题领域数据类型元数据引用数据主数据交易数据数据类型的特点数据类型之间的关系GIGO数据质量评估数据质量管理数据治理数据安全前言数据管理，即对数据资源的管理。
逆流°只是风景-bjhxcc·2023-08-17 07:31

《数据质量征途》

完整性约束-P43对于大多数简单的比例指标，建议使用数据质量指标-P44列了一堆衡量整体数据的指标嵌入过程的数据整体性方法-P52表4.1抽样方法抽样过程-P57简单随机抽样系统抽样分层随机抽样聚类抽样数据质量问题模式剖析数据质量问题的表现
Mil_Pasos·2023-08-16 03:10

利用python实现激光雷达LAS数据滤波的7种方式，使用laspy读写

激光雷达（LiDAR）数据在实际应用中可能受到噪声和不完美的测量影响，因此数据去噪和滤波方法变得至关重要，以提高数据质量和准确性。以下是一些常用的激光雷达数据去噪与滤波方法。
新月清光·2023-08-16 03:44

数据质量

EncodingSanger/Illumina1.9[测序平台的版本和相应的编码版本号]TotalSequences[totalreads的数量]Sequencelength[测序长度]%GC[GC含量]1、Perbasesequencecontent：序列碱基含量四种不同碱基占总碱基数的比例，检测有无AT、GC分离的现象。正常情况下四种碱基出现的频率应是接近的，且没有位置差异.因此，好的样品中四
shine_9457·2023-08-15 23:46

字节电商大数据开发一面，已过，面试题已配答案

面试题答案参考大数据面试题V3.0，523道题，679页，46w字1、实习经历这点不多说了，根据自己的来就行2、工作中最难的点一般都会提前回顾之前自己遇到的问题，根据自己的来3、如何保证数据质量这里主要是阿里对数仓的一些数据质量保证原则
蓦然_·2023-08-15 01:36

Single Cell RNA-seq Analysis 学习记录（二）：数据整理

处理原始scRNA-seq数据2.1FastQC当你获取到单细胞下机数据的时候，第一步需要做的就是检查数据质量。
面面的徐爷·2023-08-14 19:44

数据探查分析

1概述BeeDI提供任意数据的探查分析功能，通过探查可快速了解数据属性取值分布状况（有效值数，空值数、不同属性值数量百分比等），优化改善数据质量。
wahahaman·2023-08-13 08:38

很全面的倾斜摄影Smart3D综合总结篇

本文将从软件、数据流处理、各种数据格式成果的区别以及应用情况、倾斜摄影模型实现单体化的技术思路、数据质量主要取决于那些条件？等方面进行阐述。
壹米玖坤·2023-08-12 17:49

DataVines

DataVines数据的可信性依赖于数据质量，而完善的数据质量检查一直是业界缺失的项目，最近新开源了一个项目DataVines补全了这一块的短板。看一下项目作者自己写的项目介绍点击进入
天心有情·2023-08-12 01:18

主数据管理案例-北京燃气

而北京燃气在开展主数据管理、建设数据资源管理系统之前，情况却不容乐观：⚫缺乏统一数据标准、主数据质量没有保障：各业务管理部门、信息系统分别建立数据标准，分散维护，数据不一致、
YoungerChina·2023-08-11 17:40

银行数据质量管理暂行办法

第一章总则第一条为规范数据管理工作，提高我行数据质量，确保数据准确性、完整性、及时性，特制定本暂行办法。
数据智能谷·2023-08-10 14:27

ChatGPT在大规模数据处理和信息管理中的应用如何？

##1.数据清洗与预处理在大规模数据处理中，数据质量往往是一个关键问题。ChatGPT可以用于数据清洗与预处理阶段，自动识别和修复文本数据
心似浮云️·2023-08-10 13:39

数据质量：数据越好，模型就越好

可以说，数据质量是机器学习模型训练中的重中之重。无论为模型提供了多少数据，如果数据不适用，对改善机器模型的性能就无济于事。简言之，使用质量差的数据就是在浪费宝贵的时间和预算。。
澳鹏Appen·2023-08-10 12:38

易基因 | 单细胞甲基化测序（scBS-seq）比对率奇低？你的文库方向性参数可能没选对！

数据质量不错，就是比对率奇低。到底问题出在哪里呢？其实小编刚接触scBS-seq数据的时候也发现了这个问题。今天小编就带大家一起分析解决一下这个问题吧！无
E_GENE·2023-08-10 01:38

顺丰科技数据治理实践

十年前，我们就已经建了数仓，同步做了元数据管理，数据质量管理，以及数据安全的管理。顺丰数据治理的演进路线分3个阶段。第一阶段：2020年前，我们主要在进行数据平台的搭建，关键领域能力的建设。
产品经理自我修养·2023-08-08 19:09

电商数据获取：网络爬虫还是付费数据接口？

本文将从成本、可靠性、数据质量等多个角度进行分析，帮助读者做出理性的选择。一、成本分析：网络爬虫：自己编写网络爬虫可以免费获取数据，只需要投入编写爬虫程序的时间和精力。
懂电商API接口的Jennifer·2023-08-08 07:32

中国数据质量管理现状及发展趋势（二）

在谈数据质量的时候，我们会面临一个语义的理解问题，语义理解问题要是没有办法做好的话，我们很多标准做不出来。但是我们大部分时候怎么做呢？人工做。
华矩数诊台·2023-08-07 23:54

神经影像脑网络图、brain map可视化汇总

神经影像脑网络图、brainmap可视化汇总介绍使用R语言进行脑成像可视化的例子代码使用Python制作的脑成像可视化示例代码介绍神经影像可视化构成了科学结果解释和交流的核心，也是数据质量控制的基石。
sta@ma@brain·2023-08-06 17:56

关于数据仓库那些事 - 数据质量和数仓主题

借助海量的数据，企业进行了深层次的数字化改革，把数据当成了企业发展的核心，但无效的数据即使规模再大，也对企业没有意义，所以数据质量也就愈发重要。
派可数据BI可视化·2023-08-04 17:16

大数据可视化BI工具：Visualis

Visualis支持拖拽式报表定义、图表联动、钻取、全局筛选、多维分析、实时查询等数据开发探索的分析模式，并提供水印、数据质量校验等金
小水滴2014·2023-08-03 23:30

4000字，详解数据管理之简介篇

我在这里将17个章节根据个人理解分为数据管理简介、数据管理框架、数据处理伦理、数据管理组件、数据管理组织、大数据与数据科学和数据管理成熟度这几个部分，整体架构与原书差不多，主要是将如元数据管理、数据质量
datablau国产数据库建模工具·2023-08-03 19:14

iceberg对比hive优势

1.事务性从事务性上来说，iceberg具有更高的数据质量。因为iceberg本质是一种tableformat，屏蔽了底层的存储细节，写入数据时候需要严格按照schema写入。
bitcarmanlee·2023-08-03 18:08

提升数据质量的四大有效方式

目前，已经有很多企业将数据质量视为技术问题而非业务问题，这也是获取高质量数据的最大限制因素。
虚无火星车·2023-08-02 22:33

银行数字化转型导师坚鹏：银行数字化营销面临的5大痛点

以下是银行数字化营销必须解决的五大痛点：1) 数据质量和完整性：银行在数字化营销中需要利用大数据技术，但数据质量和完整性仍然是一个关键问题。
银行数字化转型导师坚鹏·2023-08-02 03:16

一些三维点云去噪算法

1.3点云去噪在点云数据中，通过适当的滤波和处理方法，去除无用或噪声点，以提高数据质量和准确性的过
thequitesunshine007·2023-07-31 23:28

数据一致性、准确性、完整性、及时性、有效性

数据质量评估体系主要参考以下指标：数据一致性数据准确性数据完整性数据及时性数据有效性数据一致性：数据一致性是评估数据质量的一个关键点，通常我们说的一致性是指用来描述同一信息主体在不同的数据集中是否相同。
Hi~晴天大圣·2023-07-30 21:24

读书笔记--数据治理之器

本部分内容主要讲述了数据治理的7把利剑，包括数据模型管理工具、元数据管理工具、数据标准管理工具、主数据管理工具、数据质量管理工具、数据安全治理工具、数据集成与共享工具。
一马平川的大草原·2023-07-30 18:42

监管数据治理治什么？1104、EAST、客户风险系统数据简介

自2020年5月9日工行、农行、中行、建行、交行、邮储、中信、光大8家商业银行因监管标准化数据（EAST）系统数据质量及报送存在违法违规行为，被银保监会罚款共计1770万元。
南极找南·2023-07-30 01:58

机器学习03-数据理解(小白快速理解分析Pima Indians数据集)

数据质量评估：检查数据集是否存在缺失值、异常值和噪声。缺失值可能影响模
玩转AI·2023-07-29 09:03

数据隔离与数仓分层（大数据）

二、数据隔离方法三、数仓分层数仓分层通过数据分层管控数据质量，需要对数据清洗等操作，不必改一次业务就需要重新接入数据，每一层数据都是单独的作用，同时规范数据分层，减少业务开发、直接抽取数据。
你的负卿是我·2023-07-28 20:49

HTAP数据库：Hubble加倍实现数据湖价值

98%的企业都面临数据孤岛问题，数据没标准、数据难统一、数据难打通、数据质量低。打通数据孤岛难度大周期长成本高，企业每年在糟糕的数据上多花费近25%的成本。有痛点就有市场，数据湖应市而生。
天云数据·2023-07-28 10:59

如何在数据中台中提高效率并节省成本？

上节讨论了如何保障数据中台的数据质量，让数据“准”。除了“快”和“准”，数据中台还离不开“省”。随数据规模越来越大，成本越来越高，如不合理控制成本，还没等你挖掘出数据应用价值，企业利润就被消耗完。
JavaEdge.·2023-07-28 07:44

数据治理调研、企业数据治理方案、数据治理的范围

目前数据应用项目非常多，但真正取得预期效果的项目少之又少，而且开发过程困难重重，其中的一个重要原因就是数据质量问题导致许多预期需求无法实现
jijinduoduo·2023-07-27 06:14

python：GEDI L1B数据质量过滤

作者：CSDN@_养乐多_在研究地球生态系统动态时，GEDI（GlobalEcosystemDynamicsInvestigation）的激光高程数据需要进行质量过滤，以确保选取高质量的激光测高数据点。本篇博客将详细介绍如何利用Python中的数据处理技术，通过“stale_return_flag”和“degrade”标志对GEDI激光高程数据进行质量过滤，并选择高质量的数据点。尽管针对每个具有有
_养乐多_·2023-07-26 19:02

企业数据治理具体怎么做

因此，企业数据治理变得尤为重要，它是确保数据质量和安全的关键措施，也是实现数据资产价值最大化的基石。数据治理是指
白牛DATA·2023-07-26 19:24

基于python和google earth engine的MODIS数据质量控制————以MOD11A1为例

MODIS质量控制文件，对MODIS产品进行提取MODIS数据简介我们拿到的MODIS数据，多数人认为只要有值的地方，就是准确数据，我们直接就可以拿来使用，只有空值的区域，数据才会异常（多数本科生是这样认为的）；然而并非如此，往往一个MODIS产品一个像元处，只有当所有输入的反演参数都为异常值时，这个像元才会被设置为异常，即设置为空值。因此，我们所能看到的拥有像元值的地方，就会因为输入的反演参数都
永康李·2023-07-26 15:06

基于python的MODIS数据质量控制------以MOD11A1为例

MODIS质量控制文件，对MODIS产品进行提取MODIS数据简介我们拿到的MODIS数据，多数人认为只要有值的地方，就是准确数据，我们直接就可以拿来使用，只有空值的区域，数据才会异常（多数本科生是这样认为的）；然而并非如此，往往一个MODIS产品一个像元处，只有当所有输入的反演参数都为异常值时，这个像元才会被设置为异常，即设置为空值。因此，我们所能看到的拥有像元值的地方，就会因为输入的反演参数都
永康李·2023-07-26 14:05

华为数据之道｜01 数据驱动的企业数字化转型｜③华为数据治理实践

第一阶段：2007～2016年在这一阶段，华为设立数据管理专业组织，建立数据管理框架，发布数据管理政策，任命数据Owner，通过统一信息架构与标准、唯一可信的数据源、有效的数据质量度量改进机制，实现了以下目标
是杰夫呀·2023-07-26 02:14

2018-04-11 Data quality assessment

主观数据质量度量：反映利益相关者的经验和需求——问卷调查，看利益相关者对数据质量指标维度是否满意客观数据质量度量：任务相关和任务无关的。任务无关的指标只与数据状态相关，而与应用程序上下文无关。
82e386370005·2023-07-25 19:46

数据标准定位

数据标准的目的是消除数据不一致性、混乱和误解，提高数据质量和一致性，从而促进数据的可靠性、可用性和可持续性。
小金子的夏天·2023-07-25 13:19

数据质量管理：6个维度，50个检查项！

因此，数据质量正是企业应用数据的瓶颈，高质量的数据可以决定数据应用的上限，而低质量的数据则必然拉低数据应用的下限。
mm_ren·2023-07-24 23:51

python数据分析与挖掘 | 数据探索

数据探索就是通过检验数据集的数据质量、绘制图表、计算特征量等方法，对样本数据集的结构和规律进行分析。它可以帮助选择合适的数据预处理和建模方法，解决问题。数
小田学Python·2023-07-24 23:20

数据治理设计理论

数据治理设计理论一、数据治理基本概念1、数据治理介绍数据治理是一种综合性的、系统性的数据管理过程，旨在确保组织内的数据质量、安全性、可用性和合规性。
高世之智·2023-07-24 22:03

数仓建模方法论

大数据的数仓建模正是通过建模的方法，更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点，一般我们会从以下面四点考虑：性能：能够快速查询所需的数据，减少数据I/O的吞吐。
产品经理自我修养·2023-07-24 21:42

Trim Galore ——自动检测adapter的质控软件

之前分析过的测序数据，数据质量都很好，给了我一个错觉质控的前后差别不是很大，内心里对质控这一步也就不是很重视，跑完质控有时也懒得看结果，拿到一批测序数据后，也总是忽略了去看测序策略是什么，按照固定的流程用
六六_ryx·2023-07-23 17:15

DataHub——实时数据治理平台

数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于元数据管理，我们要知道数据的来龙去脉，才能对数据进行全方位的管理，监控，洞察。DataHub是由LinkedIn的
大数据流动·2023-07-23 13:59
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他