数据质量

GEE——加载ERA5气候再分析参数并使其可视化的脚本示例

3.数据预处理：对于气象数据，一般需要进行一些数据预处理，如去除云、填补缺失值等，以提高数据质量和适用性。4.数据集
此星光明·2023-10-10 22:03

Dataphin V3.6版来了！多项能力升级，助力企业提升全链路数据治理能力！

DataphinV3.6版本全新上线概念建模、基线运维、全域数据质量监控、数据标准标准落标映射等核心功能，为企业建设贯穿事前、事中、事后的全链路数据治理能力添砖加瓦，助力提升资产价值。
瓴羊企业智能服务·2023-10-09 18:28

提高数据质量的步骤

通过清洗和预处理数据，我们可以去除噪声、填补缺失值、处理异常值等，从而提高数据质量，确保后续分析的准确性和可靠性。
华科℡云·2023-10-08 11:55

疑问解答 | 数据质量异常该如何处理？

在使用SPSSAU进行分析时，有时会出现“数据质量异常”提示。这种情况会发生在很多分析方法上，但原因基本共通的。
spssau·2023-10-08 09:20

机器学习入门（六）——特征工程（上）

前些年大谈特谈的“数据质量”、“Garbagein,garbageout
yyoung0510·2023-10-08 01:02

大数据软件项目开发流程

这包括理解业务需求、数据需求、数据源、数据质量
defdsdddev·2023-10-07 15:24

什么是DCMM认证？什么是数据管理能力成熟度评估？

该标准将组织对象的数据管理划分为八大能力域（数据战略、数据治理、数据架构、数据标准、数据质量、数据安全、数据应用、数据生存周期），并对每项能力域进行了二级能力项（28个能力项）和成熟度等级的划分（
hb13370587609·2023-10-07 10:40

DCMM认证是什么

DatamanagementCapabilityMaturityModel，简称：DCMM）借鉴国内外成熟度相关理论思想，结合数据生命周期管理各个阶段的特征，对数据管理能力进行了分析、总结，提炼出组织数据管理的八大能力域（数据战略、数据治理、数据架构、数据标准、数据质量
kdrz_·2023-10-07 10:40

DCMM认证评审要求

自身业务交易产生的结构化数据总量：100G及以上（证据：提供信息系统清单、各信息系统主要的数据范围以及存储量）；2.具有专职的数据管理人员：2人及以上（证据：提供正式发布的岗位说明书以及人员资质证明）；3.具有数据治理、数据质量
dong17605413502·2023-10-07 10:39

数据中台实战(05)-如何统一管理纷繁杂乱的数据指标？

元数据在指标管理、模型设计、数据质量和成本治理四个领域都发挥作用，这些领域构成数据中台OneData数据体系。
JavaEdge.·2023-10-07 04:31

大数据毕业设计 校园学生一卡通数据分析与可视化 - python

文章目录0项目简介任务1数据导入与预处理任务1.1探查数据质量并进行缺失值和异常值处理1.1.2检查重复值1.1.3数据内容总览1.1.4数据分布总览1.1.5消费金额和消费次数观察消费金额和消费次数的散点图
caxiou·2023-10-06 22:47

【毕业设计】大数据高校学生校园一卡通数据分析系统 - python

文章目录0简介1数据导入与预处理1.1探查数据质量并进行缺失值和异常值处理1.1.2检查重复值1.1.3数据内容总览1.1.4数据分布总览1.1.5消费金额和消费次数观察消费金额和消费次数的散点图1.1.6
caxiou·2023-10-06 22:16

毕业设计 基于大数据的高校校园学生一卡通数据分析

文章目录0项目简介任务1数据导入与预处理任务1.1探查数据质量并进行缺失值和异常值处理1.1.2检查重复值1.1.3数据内容总览1.1.4数据分布总览1.1.5消费金额和消费次数观察消费金额和消费次数的散点图
DanCheng-studio·2023-10-06 22:46

ydata-quality数据质量评估简单介绍

摘要ydata-quality是一个用于数据质量的库，类似sklearn之于机器学习。通过数据多阶段流程开发评估数据质量。
superY25·2023-10-06 17:14

【ETL】系列八：数据质量的保障——数据校验

今天这个篇幅，我们来介绍数据质量管理利器——校验。找不到合适的图了就将就看吧.jpg希望
不爱吃药的小白鼠·2023-10-05 22:30

Python数据攻略-Pandas常用数据操作与数据清洗

无论在分析三国志游戏的玩家行为，还是在研究历史战役，数据质量都是关键。本文使用Pandas库进行数据操作和清洗，确保数据准确、完整和易于分析。
Mr数据杨·2023-10-05 13:27

Arcgis小技巧【14】——拓扑(Topology)的方方面面

拓扑的主要功能就是用于保证数据质量，当然它还有其它很多功能，水平有限就不展开了。一、新建并验证拓扑拓扑是建立在【要素数据集】以及保存在这个要素数据集里的一个或多个【要素类】的基础之上。
规划GIS会·2023-10-04 13:11

用无代码搭建数据中台，竟做到如此丝滑

文章目录需求背景系统介绍配置说明1菜单导航2系统自带组件导入页面（1）数据集成相关组件（2）数据服务相关组件3由系统组件路径添加页面（1）数据资产管理（2）数据标准管理（3）数据质量管理（4）数据安全管理
陈橘又青·2023-10-03 04:46

PyTorch深度学习实战——模型训练实用技巧

在本节中，我们介绍在实际构建模型时影响模型性能的因素，包括数据质量(处理不平衡数据)、数据预处理(对象大小)、模型选择、超参数优化和正则化等，了
盼小辉丶·2023-10-02 18:31

浅谈数据质量管理

基本概念数据质量管理是指为了满足信息利用的需要，对信息系统的各个信息采集点进行规范，包括建立模式化的操作规程、原始信息的校验、错误信息的反馈、矫正等一系列的过程。
000X000·2023-10-02 10:30

清醒认识数据第一步，把关数据质量

笔者在之前曾经历过数据质量管理的具体功能设计，算是较为完整地感受过数据质量管理过程。所以在此简单复盘下经验，借此抛砖引玉。
宋懵懵的数据生活·2023-10-02 10:27

数据仓库-DW/BI架构对比-读书笔记二

ETL系统高度关注数据质量、完整性、一致性。输入数据在进入时要检查其质量。一致的获取增值度量和属性的业务规则由ETL系统中的有技能的专业人员开发，这样会给客户发布更好的、保持一致性的产品。
数据僧·2023-10-01 12:21

Backblaze发布2023中期SSD故障数据质量报告

作为一家在2021年在美国纳斯达克上市的云端备份公司，Backblaze一直保持着对外定期发布HDD和SSD的故障率稳定性质量报告，给大家提供了一份真实应用场景下的稳定性分析参考数据。本文我们主要看下Backblaze最新发布的2023中期SSD相关故障稳定性数据报告。本次发布的质量数据，主要是针对2023Q1和Q2两个季度，也就是上半年的质量表现。从这两个表格中，看到有一些AFR年化故障率都到8
古猫先生·2023-09-30 23:39

大模型深挖数据要素价值：算法、算力之后，存储载体价值凸显

而在这个过程中，业界对“数据”的关注，往往集中在“量”+“质”上，更庞大的数据量与更高的数据质量能推动大模型
智能相对论·2023-09-30 20:12

别和我说您懂数据治理，这些方面你做到了吗？

包括建立有关战略、数据存储、内容和记录管理、数据质量控制、数据访问、数据安全和风险管理、数据共享和分发的决策权限、政策、程序和标准，以及持续对上述所有活动的合规性监控。
数据治理侠·2023-09-30 10:42

打工人！政务、人力、制造业等行业超实用的40套报表模板来啦

而数据质量似乎也正在失去其相关性，这是由于有意放弃数据建模和一个事实点。但是，对项目日常生活的特定看法揭示了不同的形象。
宋懵懵的数据生活·2023-09-29 21:13

DAMA-DMBOK2重点知识整理CDGA/CDGP——第13章 数据质量

目录一、分值分布二、重点知识梳理1、引言1.1业务驱动因素1.2目标和原则1.3基本概念2、活动2.1定义高质量数据2.2定义数据质量战略2.3识别关键数据和业务规则2.4执行初始数据质量评估2.5识别改进方向并确定优先排序
醉酒的戈多·2023-09-29 08:21

马哈鱼——数据治理中Oracle SQL和存储过程的数据血缘分析

有了完整的数据血缘关系，我们可以用它进行数据溯源、表和字段变更的影响分析、数据合规性的证明、数据质量的检查等。
chensuper·2023-09-28 16:20

2022年开篇

我对2021的总结2021是我从工程质量转向数据质量第一年，乍见的欢喜，odps/pyodps/flink/lindorm/hadoop各式各样的技能栈触手可得，到久处的平淡，最后我收获了什么？
程南swimming·2023-09-28 10:57

ArcGIS操作小技巧(二)之网络路径分析

本次操作小技巧主要目的是：验证矢量化路网的连通性与路径最短的可选择性，用来解决多重条件下路径最优问题；其次可以为导航、选路、配送等开发工作提供数据质量的保证。
ZHOU-LONG·2023-09-28 10:52

如何做数据测试？

--转自挖数网自己备份用这个网貌似挂掉了数据质量是数据应用的核心基础，数据测试是非常重要的一环，若质量把控不够严格，后续所有的行为都可能有偏差甚至错误，所以做好数据测试很关键，如下是针对怎样做好数据测试的一些总结核心理论以小博大
Ryan96·2023-09-27 21:58

数据标准--实战

我们期望将数据标准真正应用到实践中去，帮助客户解决资产化不足、数据质量难以提升、数据开发效率低等问题，于是网易开始了数据标准的建设。
000X000·2023-09-27 19:11

二维码智慧门牌管理系统：智能化地址管理，提升社会治理效率

一、地址管理挑战在本市，地址未标准化导致的地址名称混乱，同一地址多个名称带来的数据应用难题，部门间缺乏协同工作导致数据质量下降，流动
产品顾问徐文·2023-09-26 03:40

LLM-TAP随笔——语言模型训练数据【深度学习】【PyTorch】【LLM】

文章目录3、语言模型训练数据3.1、词元切分3.2、词元分析算法3、语言模型训练数据数据质量对模型影响非常大。典型数据处理：质量过滤、冗余去除、隐私消除、词元切分等。
来杯Sherry·2023-09-26 03:00

分布式日志采集工具技术选型方案

在采集过程中，如何应对数据多样性、数据量大、变化快等特点，如何保证数据采集的可靠性、性能，如何避免重复数据，如何保证数据质量，如何降低资源成本，这些都是大数据采
善思者_tin·2023-09-25 01:41

大数据的崭露头角：数据湖与数据仓库的融合之道

（DataLake）数据仓库（DataWarehouse）数据湖和数据仓库的优势和劣势数据湖的优势数据湖的劣势数据仓库的优势数据仓库的劣势数据湖与数据仓库的融合之道1.数据分类和标记2.元数据管理3.数据质量和清洗
IT·陈寒·2023-09-24 04:31

提升政府决策水平和保障数据交易安全的角度谈一谈如何开展数据治理

但是在挖掘海量数据的过程中，大数据创新应用还面临数据安全、隐私保护、数据质量、运营合规等多个方面的挑战。为解决大数据创新应用面临的问题，“数据治理”的概念应运而生。数据治理主要聚焦在治理目
治理之路·2023-09-24 02:41

什么是元数据

元数据分类业务元数据、技术元数据、操作元数据业务元数据描述数据的业务含义、业务规则等业务定义、业务术语解释等业务指标名称、计算口径、衍生指标等业务引擎的规则、数据质量检测规则、数据挖掘算法等数
真空零点能·2023-09-23 07:10

大数据时代下统计数据质量的影响因素

数据质量的高低直接影响数据价值的高低。数据质量，是指在业务环境下，数据符合数据消费者的使用者目的，能够满足业务场景具体需求的程度。
Elseide艾思·2023-09-22 15:05

Tushare使用分享（二）

使用Tushare一段时间了，一句话，Tushare使用方便且数据质量很高，很值得推荐！ID：503757了解TushareTushare是一个免费、开源的python财经数据接口包。
不妨向前看·2023-09-22 14:13

大数据时代下统计数据质量的控制方法

在社会经济数字化高速发展的进程中，大数据应用于统计工作已经成为不可避免的趋势。为了提升统计工作质量与效率，我们需要有效控制和提高大数据的质量。可以从多个角度出发，提升我们统计大数据的质量，并对各种影响因素进行有效的质量控制。首先，我们需要增强对应用大数据于统计工作的认识。大数据的发展以及其在统计领域的研究与应用已经证明了其有效性与先进性。在大数据背景下，传统的统计工作面临挑战的同时，也迎来了创新发
Elseide艾思·2023-09-21 02:06

【必示说】第三期：智能运维系统效果实现（上篇）

企业根据本底情况、首要解决问题、建设阶段以及数据质量情况的不同，建设路径并不是绝对的。而无论建设路径如何规划
BizSeer必示科技·2023-09-20 19:56

动态代理IP对于数据采集的优势和应用

2.提高数据采集的质量使用动态代理IP可以避免目标网站对于同一IP的限制，从而提高数据采集的覆盖面和数据质量。3.保护数据采集的安
·2023-09-20 14:42

动态代理IP对于数据采集的优势和应用

2.提高数据采集的质量使用动态代理IP可以避免目标网站对于同一IP的限制，从而提高数据采集的覆盖面和数据质量。3.保护数据采集的安
·2023-09-20 14:38

数据转换技术：数据清洗、规范化和聚合的重要性

然而，大量的数据源、多样的数据结构以及数据质量的问题给数据处理和分析带来了挑战。要解决这些问题，ETL数据转换技术成为了不可或缺的工具。
ETLCloud数据集成社区·2023-09-20 08:11

二维码智慧门牌管理系统：创新科技改善生活

文章目录前言一、标准规范与数据质量二、二维码门牌的便捷与安全三、移动应用提高管理效率前言在当今快速发展的科技时代，一项创新的技术正在悄然改变我们的生活，那就是二维码智慧门牌管理系统。
产品顾问徐文·2023-09-20 04:54

数据治理-数据质量

实现数据质量的前提就是数据本身是可靠和可信的。导致数据质量低下的因素组织缺乏对低质量数据影响的理解，缺乏规划、孤岛式系统设计、不一致的开发过程、不完整的文档、缺乏标准或缺乏治理等。
世润·2023-09-20 03:55

数据治理-数据仓库和商务智能-部分内容

全局性的思考和设计，局部性的行动和建设；总结并持续优化，而不是一开始就这样做；提升透明度和自助服务；与数据仓库一起建立元数据，DW的成功关键是能准确解释数据；协同，与其他数据活动协作，尤其是数据治理、数据质量和元数据管理活动
世润·2023-09-20 03:24

数据治理-元数据管理-部分内容

元数据质量控制活动质量保证，质量控制；数据更新频率-与时间表匹配；缺失元数据报告；未更新的元数据报告。成功实施
世润·2023-09-20 03:23

基于Apache doris怎么构建数据中台(二)-数据中台建设内容

的数据中台建设内容及系统架构设计围绕着上次将的我们要解决的五个问题：找数，理解数据，问题评估，取数及数据可视化，给出一个概要的设计及框架数据中台建设内容数据规范统一：采用维度事实建模理论进行严格的，规范化、标准化的定义，保障数据质量
张家锋·2023-09-19 14:05
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他