---数据质量

数据治理之主数据管理

文章目录一、主数据管理概述什么是主数据什么是主数据管理主数据管理的意义打破孤岛，提升数据质量统一认知，提升业务效率集中管控，提升管理效能数据驱动，提升决策水平二、主数据管理方法摸家底建体系接数据数据接入数据清洗主数据清洗规范主数据清洗操作数据分发抓运营三
4935同学·2024-01-03 08:39

全国人口普查管理系统(JSP+java+springmvc+mysql+MyBatis)

这种系统可以有效地提高对人口普查数据的收集、整理和管理效率，减少人为错误，提高数据质量。同时，信息技术的使用也使得系统的开发和维护变得更加
睿轩毕设项目·2024-01-02 21:59

11.2 GWAS流程学习

主要使用plink和structure：1、在snp-calling后得到vcf文件2、基因型填充：https://www.jianshu.com/p/dafd1e6e4a98使用beagle3、数据质量控制
KK_f2d5·2024-01-02 17:39

BikeDNA（一）初始化OSM数据

它为规划者、研究人员、数据维护人员、骑行倡导者以及与自行车网络相关的其他人提供了在特定区域详细且知情地了解数据质量的工具。
rgb2gray·2024-01-01 22:30

在百模大战中AI行业发展的新趋势

大模型的训练需要大量的高质量数据，但是目前在数据质量方面还存在一定的问题，这会影响大模型的训练效果和准确性。智能算力无处不在的计算新范式加速实现。新硬件、新架构竞相涌现，现有芯片、操作系
千Deng·2024-01-01 18:25

Hive表加工为知识图谱实体关系表标准化流程

分隔符的处理情况1.2无法通过分隔符以及包围符区分字段1.3数据中存在回车换行符2CSV文件导入Hive的建表2.1包围符作用和功能2.2Hive的建表导入2.3数据文件导入3对Hive表中数据的清洗3.1数据质量检查
程序终结者·2024-01-01 00:52

【华为数据之道学习笔记】8-3异常数据监控

数据质量控制的目的是致力于满足数据质量要求，消除或减少异常数据。数据质量控制可以在数据的生命周期内的不同时点被应用，来测试数据的质
码农丁丁·2023-12-31 09:37

【华为数据之道学习笔记】8-1 基于PDCA的数据质量管理框架

企业数据来源于多个不同的业务系统，数据流转、处理环节多，用“GarbageinGarbageout（垃圾进，垃圾出）”原则保证数据质量已成为数字化转型企业的共识。
码农丁丁·2023-12-31 09:07

【华为数据之道学习笔记】8-2 数据质量规则

若想从众多数据中识别出异常数据，就需要通过数据质量规则给数据打上标签。数据质量规则是判断数据是否符合数据质量要求的逻辑约束。
码农丁丁·2023-12-31 09:01

python将panadas写入excel_python pandas写入excel文件的方法示例

pandas读取、写入csv数据非常方便，但是有时希望通过excel画个简单的图表看一下数据质量、变化趋势并保存，这时候csv格式的数据就略显不便，因此尝试直接将数据写入excel文件。
马德阿姨·2023-12-31 08:22

亚信安慧AntDB MTK数据同步工具之数据稽核

数据稽核也可以帮助组织发现数据质量问题、识别潜在的数据错误，并为数据管理和决策提供可靠的基础。本文介绍了MTK数据稽核的功能以及操作步骤。MTK支
亚信安慧AntDB数据库·2023-12-30 09:57

如何使用人工智能算法解决实际业务问题？

需要注意的是，数据质量对算法的效果有很大的影响，因此需要对数据进行清洗和预处理。特征工程：接下来，需要对数据进行特征提取和转换，以便算法可以更好地理解和处理数据。这一过程也称为特征工程，包括特
ldxxxxll·2023-12-30 01:32

Chip-seq数据分析流程

1、数据质量评估与过滤使用fastqc进行数据的测序质量评估、运行结束后生成一个*.html网页文件,一个*.zip压缩文件fastqc*.fq.gz使用trimmomatic对测序数据进行过滤，剔除测序质量不好的数据
比它虎·2023-12-29 19:13

单细胞分析（五）——使用Harmony进行数据整合和去批次

这些因素会对测序数据质量
生信小鹏·2023-12-28 09:13

数据仓库与数据集成架构：数据仓库与数据仓库规范与标准的制定与应用

数据集成架构包括数据清洗、数据转换、数据加载和数据质量检查等步骤。
一枚可爱的程序女孩·2023-12-28 05:45

人工智能的弱点有哪些？

如果缺乏足够的数据，或者数据质量不佳，可能会影响模型的准确性和性能。2.缺乏常识和推理能力：当前的人工智能系统通常局限于具体任务的解决，缺乏人类拥有的广泛的常识和推理能力。这
金鸣识别·2023-12-27 23:33

基于Kettle和帆软Finereport的血缘解析

开发人员排查数据质量问题步骤：首先和业务人员对接了解是哪里数据不准确，要定位是哪张报表，然后查看报表后面数据来源，然后一路排查数仓。往往定位到数据问题耗时比较高，开发断层导致找到相关任务比较难。
qq_36120059·2023-12-27 12:55

浅谈数据仓库运营

二、目标提高数据仓库存储性能和开发质量以及数据质量三、数据运营指标3.1开发质量表名规范性：检验数据库表名是否按照数仓表名规范，表名是否按照词根翻译字段名规范性：检验表字段名是否按照词根中文进行翻译字段类型规范性
qq_36120059·2023-12-27 12:53

灵蜂BeeDI ETL

在为大数据存储和处理提供便利的同时，它对企业的数据访问、数据整合和数据质量管理都提出了更高的要求。为此，国产数据集成软件厂商北京灵蜂软件有限公司日前宣布，推出最新版本的企业级数据集
weixin_49476464·2023-12-26 23:38

EXCEL快速入门

到目前为止，我们已学习了，如何设计表格，什么情况设计一维表，什么情况设计二维表，怎么保证数据质量，如何利用函数来提高工作效率。也就是说，现在我们完全可以独立完成一张高质量的报表了。
Dream阿梦·2023-12-26 08:12

质量保障的多维形态

最顶层的切分，按研发工种可以分为：工程质量、数据质量、算法质量。本系列暂时只围绕工程
hi99·2023-12-26 04:41

数据治理之数据质量管理系列1：质量管理工具整体架构

数据质量管理工具，主要面向数据治理和数据质量评估场景。
大数据小白·2023-12-26 03:14

DataWhale_Matplotlib_Matplotlib初相识

answer：本人从事交通大数据的数据清洗及分析工作，工作中会需要实时观查数据同步的异常情况，并且需要分析数据质量。故通常将各个监测指标可视化，分区并实时观察数据同步及分布情况。
恶魔眼睛大又大���·2023-12-26 01:48

数据治理之元数据管理

目录一、元数据管理概述什么是元数据元数据的3种类型业务元数据技术元数据操作元数据元数据的作用什么是元数据管理元数据管理的目标建立指标解释体系提高数据溯源能力数据质量稽核体系元数据管理的阶段二、元数据管理方法业务目标理解建立企业数据资产目录消除冗余加强数据复用降低因人员流动而导致知识流失的风险提供数据血缘探查能力
4935同学·2023-12-25 14:14

数据处理系列课程 02：数据处理的科学性之初识NumPy

前面我们才提到数据处理是一件非常重要的事情，数据处理的是否得当直接关系到最终的成果，所以针对数据要做缺失值处理、离群点处理、重复值处理、噪声处理、规范化处理、离散化处理、稀疏化处理等处理，这些处理操作的基础都是建立在数学的基础上，利用数学将数据质量提高
HerrFu·2023-12-25 09:24

【深度学习】DataComp论文，数据集介绍，大数据模型的数据集介绍

参考：https://laion.ai/blog/datacomp/论文：https://arxiv.org/abs/2304.14108文章目录论文报告的一些内容datacomp-1B数据质量比lainon2B
XD742971636·2023-12-24 09:15

数据质量监控框架及解决方案总结

概述随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时，数据的唯一性、完整性、一致性等等校验就开始受到关注，而通常做法是根据业务特点，额外开发job如报表或者检查任务，这样会比较费时费力。目前遇到的表大部分在几亿到几十亿的数据量之间，并且报表数量在不断增加
坨坨的大数据·2023-12-24 05:41

企业数据治理：（1）概述

数据治理的范围包括目标数据的创建、存储、共享和使用的规范和流程，以提高数据质量并促进系统对企业业务的促进作用。数据治理的结果直接影响到系统的高效使用，如何通过数据治理提升
whqcfp·2023-12-24 03:57

基于conda环境下的宏基因组学分析利器MetaWRAP 1.3.2 安装和使用，序列分析基本流程自动分析脚本

MetaWRAP的功能包括：数据质量控制：包括去除低质量的reads、去除污染序列和剪切适配序列等。基因组装配：MetaWRAP支持多种基因组装配算法，包括SPAdes和MEGAHIT等。
小果运维·2023-12-24 02:01

机场数据治理系列介绍（1）：机场行业数据中台中的数据管理顶层设计方案

目录1、战略目标与价值2、组织架构与角色分配3、数据流程管理4、数据质量管理5、数据安全与隐私保护6、技术平台选择与部署7、数据服务与API管理8、数据培训与文化推广9、持续改进与优化民航机场行业的数据中台中
机场信息系统研究员·2023-12-24 02:27

这5款数据清洗工具值得考虑！

二是数据质量不高，后者是信息不足问题最常见的原因。数据质量低的主要原因是数据库中存在脏数据，数据输入错误。不同来源数据引起的不同表示方法和数据之间的不一致是脏数据的原因。因此，在进行数据分析之前
数据小达人·2023-12-23 06:44

【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台

很多公司选择元数据管理平台作为基础，再构建数据质量，数据血缘等工具。今天为大家推荐的开源项目，是一个一体化的数据治理平台，一个平台解决了大部分问题。
大数据流动·2023-12-23 01:20

2022-05-08

面对当前生态文明建设的新形势和新要求，我国生态环境监测事业发展还存在网络范围和要素覆盖不全，建设规划与信息发布不统一，信息化水平和共享程度不高，监测与监管结合不紧密，监测数据质量有待提高等突出问题，影响了监测的科学性
知北_3a0f·2023-12-22 16:09

【Mquant】2：量化平台的选择

数据源和数据质量：量化交易离不开高质量的数据，因此选择一个平台时要考虑其数据源和数据质量。一些平台可能提供多种数据源，包括股票、期货、外汇等，而且数据质量也可
m 宽·2023-12-22 05:00

实战 | 数据战略指导下的数据资产运营思考

在明确的数据战略指导下，从数据的业务供给端出发，数据资产运营通过构建起全面有效的数据资源转化路径，提升数据质量，保障数据安全，提高业务数据化效率。
中电金信·2023-12-22 03:40

干货|16款数据治理工具

亿信华辰平台：睿治数据治理平台睿治智能数据治理平台由亿信华辰自主研发，融合元数据管理、数据标准管理、数据质量管理、数据集成管理、主数据管理、数据交换管理、数据资产管理、数据安全管理、数据生命周期管理
马哥说数据·2023-12-22 03:49

一文了解提示工程（Prompt Engineering）

它指出了数据质量在您从这些算法中获得的结果中发挥的关键作用。在使用生成式AI模型时，这一想法也很重要-无论它们生成文本、代码还是图像。
Garry1248·2023-12-21 14:22

数据中台架构原理与开发实战：数据集成与数据交换

作者：禅与计算机程序设计艺术1.背景介绍数据中台（DataStudio）是由数据团队在业务部门和技术部门协同下，通过构建统一的数据运维中心，实现数据集成、数据质量管理、数据分析及数据价值转化等数据的价值的一种方法论
禅与计算机程序设计艺术·2023-12-21 09:56

数据中台架构原理与开发实战：从监控告警到故障处理

数据中台由数据应用、数据开发、数据运营及数据质量保障团队组成。数据中台通常分为三个层次：基础设施层、业务逻辑层、数据服务层。基础设施层：包括数据仓库、数据湖、数据源管理、ETL工具、消息队列等组件。
禅与计算机程序设计艺术·2023-12-21 02:17

数据分析的基本步骤有哪些？

这包括数据的获取、评估数据质量以及进行数据清理、数据格式转换等操作。3.探索性数据分析（EDA）：对数据进行探索，通过统计分析、可视化、图表等方式了解数据的基本特征、缺失值、异常值和潜
小_强·2023-12-20 22:10

Pandas 中级教程——数据清理与处理

在这篇博客中，我们将深入介绍Pandas中的一些中级数据清理和处理技术，通过实例演示如何应用这些技术来提高数据质量和可用性。1.安装Pandas首先，确保你已经安装了Pandas。
Echo_Wish·2023-12-20 22:11

软信天成：没有可信数据，何谈以数据驱动决策

其间，数据质量对于支持决策的业务分析至关重要，高质量的数据管理能让企业战略系统集成所有数据信息，并提供反映组织及其内部相互关系的完整视图。
软信数据研究院·2023-12-19 20:51

AI浅谈：计算机视觉（CV）技术的优势和挑战

目录一、计算机视觉技术的优势1.效率和精度提高2.提高安全性3.促进自动化4.促进科学研究5.促进商业发展二、计算机视觉技术的挑战1.环境变化2.精度问题3.隐私和安全问题4.数据质量5.系统复杂度1.
冰海恋雨.·2023-12-19 13:43

实验记录：深度学习模型收敛速度慢有哪些原因

数据质量问题：如果训
爱编程的小金毛球球·2023-12-18 08:49

机器学习的数据管理

我们需要对数据进行分析，一般是分析数据的相关性，数据的统计，数据的分布，一般有下面这下内容(1).进行数据验证，检测错误数据，验证数据质量。比如数据的范围，数据分
歌者文明·2023-12-18 08:50

数据中台：企业数据质量参差不齐？听听专家怎么说

本文节选自《数据中台》作者：付登坡，江敏，任寅姿，孙少忆等1数据质量管理的目标数据质量管理主要解决“数据质量现状如何，谁来改进，如何提高，怎样考核”的问题。
中生代技术·2023-12-17 14:30

【华为数据之道学习笔记】5-3数据入湖标准

数据入湖是数据消费的基础，需要严格满足入湖的6项标准，包括明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。
码农丁丁·2023-12-17 10:03

大数据治理

数据治理数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，包括资产治理、数据质量监控、数据指标体系的建设等。
lz_matlab·2023-12-17 09:09

（网络二）网络布线，交换机和路由器基本原理与配置，ENSP工具

信号概念信号：是计算机在传输信息的数据过程中使用的技术手段信号一般分为模拟信号和数字信号数字信号：只有0和1两种值，因此表达的信息有限，但抗干扰能力强，传输距离远，数据质量有保障。
木合杉·2023-12-17 03:53

深度学习在人体动作识别领域的应用：开源工具、数据集资源及趋动云GPU算力不可或缺

预处理：对采集到的数据进行预处理，包括图像去噪、颜色调整等，以确保输入数据质量。特征提
virtaitech·2023-12-16 14:24
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他