---数据质量

数据集成实施过程注意点总结

2.数据质量和一致性保证数据的质量和一
ETLCloud数据集成社区·2023-11-22 18:03

一文了解数据治理全知识体系！

本文从数据治理的误区、元数据管理、数据质量管理、数据资产管理等4个方面整理出数据治理的一套经验总结，给予数据治理相关工作的同仁们一些借鉴参考。01数据治理有哪些误区？
shining_yyds·2023-11-22 09:05

更加优雅的因子挖掘技术之自动化特征工程

图片一、为什么要自动化特征工程对机器学习有一些了解的小伙伴一定听过“GarbageinGarbageout”，也就是说模型的表现很大程度上依赖于喂给算法的数据质量。
Joe量化·2023-11-22 05:03

数据治理入门

处理模式模式名称常见场景常见框架批处理夜间几个小时，无人值守hivesparkdatax流处理7*24H一直运行，无人值守maxwell,flink,flume,kafka即席处理人机交互接口访问web页面数据治理的意义数据质量低
十七✧ᐦ̤·2023-11-22 04:36

数据质量校验

1.事实表包含昨日数据2.昨日同比趋势分析圆通业务量较为平稳，每日数据量和昨日比差距不足20%，会做数据量的昨日环比差距分析
for your wish·2023-11-21 12:12

第二章：小试牛刀——深度学习初探

在实际的工业应用和研究中，我们面临的数据总是多种多样，数据质量参差不齐，因此具体怎么处理仍要看工作的实际需求和任务的实
Yzy_Carlisle·2023-11-21 00:07

情商？

原因是我没有发现数据质量不好，但是他老是在群里说我们家的数据差，有问题，而且怼的我很不舒服。所以我就随便抽了他们家5个账号的数据全都整理一遍，然后发现跟他说的并不是一回事儿，所以我就找他去沟通了。
思齐001·2023-11-20 17:42

DCMM数据管理能力成熟度等级划分

DCMM（数据管理能力成熟度评估模型）是我国首个数据管理领域国家标准，定义了数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生存周期八个核心能力域及28个能力项，并以组织、制度
新标科技·2023-11-20 06:49

大数据环境下数据质量指标体系

来源：大数据技术团队一、数据质量评价现状1、数据质量评价模型现状为了清晰表达一些复杂和抽象的概念，构建科学的模型或框架是开展数据质量评价工作的首要任务，多数学者在研究时均从不同角度提出了数据质量评价的框架
hzbooks·2023-11-20 01:45

第五篇：数据库系统的实现

本文主要讨论数据库系统实现过程中的重点环节、基本开发流程、数据库管理以及数据质量工程等话题。参照完整性约束对更新删除操作的影响在第三篇(传送门)中，我们已经讨论过，关系设计的目
weixin_34198453·2023-11-19 17:32

数据库系统的实现

目录前言参照完整性约束对更新删除操作的影响索引机制触发器机制数据库系统开发流程数据库系统管理数据质量体系小结前言前面的文章中，主要都是在围绕关系数据库理论进行研究，没有涉及到数据库系统的具体实现。
#码道老刘#·2023-11-19 17:00

Python中，我们可以使用pandas和numpy库对Excel数据进行预处理，包括读取数据、数据清洗、异常值剔除等

文章目录一、什么是`数据预处理`二、对`excel数据`进行详细的`数据预处理操作`总结一、什么是数据预处理数据预处理是一种对数据进行清洗、整理、转换等操作的过程，旨在提高数据质量，使其适应模型的需求，
小桥流水---人工智能·2023-11-19 09:18

数据探索内容大纲（思维导图）

数据预处理完成之后，要对数据进行数据探索，探索主要包括：数据质量分析和数据特征分析（呃呃呃发的时候思维导图源文件找不到了，无法转成图片，就只能pdf截图了，哭鼠）
cx330上的猫·2023-11-19 04:36

hive数仓-数据的质量管理

版本20231116要理解数据的质量管理，应具备hive数据仓库的相关知识文章目录1.理解什么是数据的质量管理：2.数据质量管理的规划数据质量标准的分类3.数据质量管理解决方案1.ods层的数据质量校验
江南正晓时·2023-11-17 01:33

利用GEE来下载landsat-TIRES数据

其具有最高数据质量的Landsat影像被归入第1级，该数据适合进行时间序列分析。T2：在处理过程中不符合一级标准的数据归并到到二级，即T2数据。T2使用了与T1相同的辐射标准，但由于不太准确
日益崛起的小羊·2023-11-17 01:16

大数据和智能数据应用架构系列教程之：大数据质量与数据治理

由于缺乏统一的数据规范化管理方法，数据质量问题也日益凸显。而作为一个数据应用和业务平台的服务提供商来说，如何更好地保障数据质量是当前面临的一项重要任务。为了解决这一难题，本文主要从数据
禅与计算机程序设计艺术·2023-11-16 04:12

GIS100例—04 ArcGIS填充面要素空洞

ModelBuilder）视频教程ArcGIS10.X入门实战视频教程（GIS思维）ArcGIS之遥感影像分类及成果应用视频课程ArcPy结合数据驱动模块的批量制图ArcGIS之DataReviewer空间数据质量检查
GIS思维·2023-11-15 21:52

倾斜斜摄影超大场景的三维模型的顶层合并重要注意事项分析

倾斜斜摄影超大场景的三维模型的顶层合并重要注意事项分析倾斜摄影超大场景的三维模型的顶层合并是一个关键的步骤，需要注意以下几个方面：1、数据质量：在进行顶层合并之前，需要对每个子区域的数据进行精细处理和校验
3D探路人·2023-11-15 11:38

如何保证hive中数据的质量？

一般的数据质量出现问题的有：无效，重复，缺失，不一致，错误值，格式出错，业务逻辑规则有问题，抽取数据程序有错等，另外还有就是统计口径不一致，也会导致看到的数据不是想要的。根据这些情况，如何清洗？
大数据架构师Pony·2023-11-15 10:28

Hive 数仓数据质量治理

1.数据质量概述数据质量是数据创建价值的保障基石，高质量的数据为数据统计、分析和应用提供了可信任的必要条件。
笑看风云路·2023-11-15 10:58

hive数据质量规范

当谈到大数据处理和分析时，数据质量成为至关重要的因素。Hive作为一种常用的大数据查询和分析工具，也需要遵循一定的数据质量规范以确保数据的准确性、一致性和可靠性。
罗少说·2023-11-15 10:47

BI系统是如何进行数据分析的？

下一步就是找到可能影响数据质量的问题，消除错误和重复数据，这在Smartbi中可以很容易实现，建立自助数据集即可。
思迈特Smartbi·2023-11-14 10:44

数据工程中九大痛点

常见的工作流程是分析师试图解决问题，遇到数据质量问题，然后无法证明或证明结果的合理性。3、上游数据质量问题：使得数据工程团队无法高效、可靠地向消费者提供高质量的数据。
极道Jdon·2023-11-14 08:10

面向物流的计算机视觉和深度学习3

面向物流的计算机视觉和深度学习3好处丰富数据质量战略资产定位改进的预测分析应用预测和规划优化自动化仓库预测性维护后台和客户体验挑战对历史数据的访问受限缺乏360°视野缺乏人工智能技能的专业人员总结参考这是工业和大企业应用的计算机视觉和深度学习课程的第
程序媛一枚~·2023-11-13 17:16

三维模型的顶层合并构建几个注意事项探讨

一、数据质量与准确性数据质量是进行顶层合并的关键因素之一。在进行合并之前，需要对原始数据进行质量控制和校正，包括去除噪点、填补缺失、解决重叠和变形等问题。
3D探路人·2023-11-13 09:38

django mysql 登陆界面_django登陆 mysql数据库

和大多数数据库管理平台一样，该平台提供备份，恢复，申请实例，实例上下线以及数据质量对比等功能。本文主要是记录开发一套系统使用哪些功能组件。
非典型工科生·2023-11-12 20:55

如何调整一个不收敛的神经网络模型--经验之谈

建议以下是一些可能有助于解决读者模型不收敛问题的方法和建议：检查数据质量：首先确保数据集没有脏数据、缺失值或异常值。不良数据可能导致网络难以学习。数据归一化：确保输入数据经过适当的归一化或标准化。
锦鲤AI幸运·2023-11-11 10:31

开源项目-智数通数据中台管理系统

智数通数据中台管理系统智数通数据中台管理系统提供了统一的元数据自动采集和维护入口，在元数据模块中为数据管理提供了准确实时的基础数据，在此之上结合企业的现状调研和咨询，可以构建企业级的数据资产类目体系和数据安全体系；同时，通过数据质量模块
小灰灰__·2023-11-09 11:56

面经-数仓-高途

1.hive和spark差异，优劣2.sql连续3天登陆3.sql行转列，列转行4.多维度groupingsets5.python装饰器6.数据质量7.sql关联键数据类型不一致，会有什么结果1.flink
piscessssss·2023-11-09 03:06

【NLP】20 个基本的文本清理技术

数据质量改进：文本数据通常包含错误、不一致和不相关的内容。清理有助于确保数
Sonhhxg_柒·2023-11-08 19:25

【NLP】特征提取: 广泛指南和 3 个操作教程 [Python、CNN、BERT]

本质上，特征提取涉及以增强给定任务的数据质量和相关性的方式选择、转换或创建这些特征。它是干什么用的？由于多种原因，它是一项不可或缺的技术：降维：在许多数据集中，可能存在许
Sonhhxg_柒·2023-11-08 19:53

数据中台之数据质量

这些图显示的是一个数据输入或管理的网络界面，它提供了一些提示来设计数据质量方案。
数据与后端架构提升之路·2023-11-08 12:19

SAP MIGO采购订单收货默认库存类型控制

用某个己在物料主数据质量视图中己开启质检开关的物料的采购协议地MIGO中进行采购订单收货，并同时选择非限制库存后保存收货。我原本以为会有错误提示，但实际没有，收货成功。那难道是
狼书·2023-11-08 05:39

大数据毕设项目 基于大数据的高校校园学生一卡通数据分析

文章目录0项目简介任务1数据导入与预处理任务1.1探查数据质量并进行缺失值和异常值处理1.1.2检查重复值1.1.3数据内容总览1.1.4数据分布总览1.1.5消费金额和消费次数观察消费金额和消费次数的散点图
m0_76217654·2023-11-07 13:25

大数据毕设 基于大数据的高校校园学生一卡通数据分析

文章目录0项目简介任务1数据导入与预处理任务1.1探查数据质量并进行缺失值和异常值处理1.1.2检查重复值1.1.3数据内容总览1.1.4数据分布总览1.1.5消费金额和消费次数观察消费金额和消费次数的散点图
fawubio_A·2023-11-07 13:52

【毕设选题】基于大数据的高校校园学生一卡通数据分析

文章目录0项目简介任务1数据导入与预处理任务1.1探查数据质量并进行缺失值和异常值处理1.1.2检查重复值1.1.3数据内容总览1.1.4数据分布总览1.1.5消费金额和消费次数观察消费金额和消费次数的散点图
caxiou·2023-11-07 13:51

计算机毕设 基于大数据的高校校园学生一卡通数据分析

文章目录0项目简介任务1数据导入与预处理任务1.1探查数据质量并进行缺失值和异常值处理1.1.2检查重复值1.1.3数据内容总览1.1.4数据分布总览1.1.5消费金额和消费次数观察消费金额和消费次数的散点图
DanCheng-studio·2023-11-07 13:12

企业大数据挖掘平台推荐

2、适合普通用户直观的流式建模，极简风格的节点配置界面，支持可视化探索，轻松理解数据质量和数据并联，流程节点在线帮助，模型超参数自动调整。3、专业算法能力内置５大类机器学习成熟算法，支
泰迪智能科技·2023-11-07 09:15

火山引擎开发者社区一周资讯精选（7.1-7.7）

字节跳动开源KubeAdmiral：基于K8s的新一代多集群编排调度引擎2.使用Redis-Shake迁移AWSElasticacheRedis到火山引擎Redis操作指南3.火山引擎DataLeap数据质量解决方案和最佳实践
火山引擎开发者社区·2023-11-07 05:39

数据库性能优化（查询优化、索引优化、负载均衡、硬件升级等方面）

它有以下优点：提高数据质量：通过数据模型的设计可以减少数据重复和冗余，确保数据一致性。使数据易于维护：使用合适的数据模型设计可以使数据结构更清晰
达芬奇要当程序员·2023-11-07 03:35

软信天成：六点概括集成化的企业数据治理解决方案

近年来，在如火如荼的数字化浪潮中日益复杂的数据架构和数据质量问题逐渐制约着企业数字化转型的整体进展，由此催生出大量的数据治理需求。
软信数据研究院·2023-11-06 09:42

软信天成：数据治理三大核心要素是什么？

企业数据的业务体现不在于数据的数量，关键是质量高低，通过数据质量的提升和整合，达到企业数据的上下贯通和横向融合，能够更好的实现数据资产的运营。有效的数
软信数据研究院·2023-11-06 09:06

2023 辽宁省大学数学建模竞赛 B 题 数据驱动的水下导航适配区分类预测 个人笔记

这可能包括数据清洗、去除异常值等操作，以确保数据质量。区域划分：划分研究区域为若干小区域，每个小区域将成为我们的适配
数学建模讲解·2023-11-05 23:04

大数据平台之数据存储

大数据生态技术2.数据存储3.数据存储的发展3.1数据仓库3.2数据湖4.数据存储的方式4.1批处理的数据存储4.2实时处理的数据存储1.大数据生态技术数据存储处理:清洗,关联,规范化,组织建模,通过数据质量的检测
959y·2023-11-05 22:25

小雨2021年第5、6周复盘

No.1本周目标与完成情况1.工作：逐个系统梳理数据质量问题√、绩效书籍主题阅读×2.个人成长：阅读《明年更年轻：运动赋能篇》√、《微习惯瘦身篇》√，输出幕布笔记×3.健康：早起跑步。中午散步。
小雨读书写作·2023-11-05 13:22

数据仓库之面试

（如果这个问题回答的好，后面很多问题都不需要再问）业务调研需求调研数据调研业务域主题域/数据域CDM总线矩阵分层架构定制规范命名规范、开发规范、流程规范维度建模星座模型宽表粒度指标体系任务调度数据质量元数据管理血缘关系数据治理
2a0eebe006e6·2023-11-04 09:56

数据治理

为什么需要：野蛮式增长背后都是烟囱式的数据建设，随之而来，数据存储，数据模型建设（数据冗余，数据孤岛问题非常多），数据质量，使用规范上都会出现一些问题。业务对数据提出了准确性、及时性等要求。
洲洲洲xxx·2023-11-03 19:52

大数据预处理及可视化分析复习

数据挖掘三者的概念，联系与区别：2、数据分析的步骤：第二章了解Python1、Python的历史：2、Python的特性：3、Python与数据分析的关系：第三章数据预处理1、数据的分类：2、数据的特征：3、数据质量
_雕尔塔_·2023-11-02 12:42

高效处理异常值的算法：One-class SVM模型的自动化方案

清洗数据可以提高数据质量，消除噪声和错误，从而确保后续分析和建模的准确性和可靠性。而异常值则可能对数据分析结果产生严重影响，导致误导性的结论和决策。
笑不语·2023-11-02 07:47

B站数据质量保障体系建设与实践

本文将分享B站数据质量保障体系的建设和实践。文章将关注数仓和建模的相关方法论，讲解B站数仓平台团队在数仓建设和建模过程中所做的工作，并分享质量保障方面取得的成果。
疯狂创作者·2023-11-01 16:09
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他