---数据质量

VIGC：自问自答，高质量视觉指令微调数据获取新思路

多模态大模型需要高质量的图文对话数据进行指令微调，而当前多模态指令微调数据多基于纯文本GPT-4构建，其数据质量及多样性相对受限。
OpenDataLab·2023-09-18 22:52

赋能工业物联网 | 数据驱动，加速智能制造

与此同时，这些方向也为带来了诸如数据安全、数据质量、数据管理等在内的新挑战。痛点与挑战1.数据存储和管
KaiwuDB 数据库·2023-09-18 06:06

三维模型3DTile格式轻量化压缩处理的数据质量提升方法分析

三维模型3DTile格式轻量化压缩处理的数据质量提升方法分析在处理三维模型3DTile格式的轻量化压缩时，如何在减少数据量的同时，保证或提升数据质量是一大挑战。
3D探路人·2023-09-17 11:22

数据治理-数据质量监控

数据质量人人有责，这不仅仅只是一句口号，更是数据工作者的生命线。数据质量的好坏直接决定着数据价值高低。
000X000·2023-09-16 21:54

物联网终端算法

数据预处理算法：用于对采集到的数据进行去噪、滤波、校准等处理，提高数据质量。数据传输算法：用于将终端采集到的数据传输到云端或其他终端设备，包括传统的WiFi
Solitary_孤影照惊鸿·2023-09-16 13:49

三维模型3DTile格式轻量化压缩处理的数据质量提升方法分析

三维模型3DTile格式轻量化压缩处理的数据质量提升方法分析在处理三维模型3DTile格式的轻量化压缩时，如何在减少数据量的同时，保证或提升数据质量是一大挑战。
3D探路人·2023-09-16 07:21

信息化发展42

2、DC胁i定义了数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生存周期8个核心能力域。数
AbelZ_01·2023-09-16 00:23

OPC HDA扫盲

目录1基本概念1.1历史数据服务器类型1.2数据源1.3对象和接口概述1.4所需接口定义1.5可选接口定义1.6定义1.7边界值和时域2HDA聚合2.1生成间隔2.2数据类型2.3数据质量3聚合示例3.1
码灵·2023-09-15 21:07

大数据时代元数据的重要性

元数据可以帮助组织理解其自身的数据、系统和流程，同时帮助用户评估数据质量，对数据库与其他应用程序的管理来说是不可或缺的。它有助于处理、维护、集成、保护和治理其他数据。
Elseide艾思·2023-09-15 17:00

数据挖掘中数据清洗的方法（转载）

原文：https://www.cnblogs.com/enmink/p/10586635.html数据清洗：一是为了解决数据质量问题，二是让数据更加适合做挖掘一、解决数据质量问题数据的完整性，比如人的属性中缺少性别
ErnestW·2023-09-15 09:43

数据治理-数据管理角色

同样，许多业务角色需要创建、访问或操作数据，某些角色（如数据质量分析师）需要综合技术技能和业务知识，下面将侧重于那些直接参与数据管理
世润·2023-09-15 07:02

自然语言处理——数据清洗

——百度百科二、为什么要数据清洗现实生活中，数据并非完美的,需要进行清洗才能进行后面的数据分析数据清洗是整个数据分析项目最消耗时间的一步数据的质量最终决定了数据分析的准确性数据清洗是唯一可以提高数据质量的方法
惑星撞地球·2023-09-12 17:03

FlowJo 10.4.0(流式细胞分析器工具)

FlowJoformac具有以下主要特点：数据导入和预处理：FlowJo支持从各种流式细胞仪设备导入数据，并提供丰富的预处理选项，如峰值检测、补偿和转换等，以确保数据质量和准确性。
创号很难·2023-09-12 16:31

Python点云处理（三）点云去噪算法基础篇

在点云数据中，通过适当的滤波和处理方法，去除无用或噪声点，以提高数据质量和准确性的过程。1半径滤波通过设定滤波半径，计算每个点在其
Auto工程师·2023-09-11 23:38

赋能工业物联网 | 数据驱动，加速智能制造

与此同时，这些方向也为带来了诸如数据安全、数据质量、数据管理等在内的新挑战。痛点与挑战1.数据存储和管
·2023-09-11 11:17

数据治理-理论-1-基本概念

基本概念为什么需要数据治理数据治理概念数据治理的目标数据治理体系框架数据治理管理措施数据治理技术措施转载https://www.sohu.com/a/152614302_771430为什么需要数据治理目前数据应用项目非常多，但真正取得预期效果的项目少之又少，而且开发过程困难重重，其中的一个重要原因就是数据质量问题导致许多预期需求无法实现
Xu Kun·2023-09-11 06:40

【小笔记】当一个算法性能不满意，可能是这几方面的原因

【学而不思则罔，思而不学则殆】2023.9.9原因一：数据质量有问题数据决定了算法的上限，在大模型时代，这句话仍然管用（比如openAI对数据的标注要求就非常高）数据的问题主要有这几方面：1.不同类别的样本数量很不平衡这是一个非常常见的问题
落叶阳光·2023-09-09 21:54

企业数字化神经网络

业务系统是企业数据资源的源头，只有源头良好、数据标准化程度高以及数据质量优良，才能为数据的利用打下坚实的基础。
白牛DATA·2023-09-07 19:39

浅析数据标注的难点与解决方法丨曼孚科技

因此，针对现阶段数据标注存在的一系列问题，本文将从数据质量、成本效益、标注员自身素质与专业知识储备等方面探讨数据标注的难点，并提出解决这些问题的方法和技术。难点一：主观性与一致
·2023-09-07 16:48

【数学建模】数据预处理

以下是为什么要进行数据预处理的几个原因：数据质量：原始数据往往存在噪声、异常值、缺失值等问题，这些问题会对建模结果产生负面影响。通过数据预处理，可以去除噪声和异常值，填补缺失值，提高数据质量。
时雨h·2023-09-07 12:35

数据治理-数据质量-1

为什么要保证数据质量有效的数据管理涉及一系列复杂的、相互关联的过程，它使组织能够利用他们的数据来实现战略目标。
世润·2023-09-06 09:33

AI应用如何进行测试？

1.数据质量测试数据测试环节需要使
这我可不懂·2023-09-06 06:09

影子模式，是不是被“神化”了？

在谈自动驾驶的数据时，除数据规模外，我们说得最多的就是“数据质量”，而所谓“高质量的数据”往往特指极端工况数据。
九章智驾·2023-09-06 02:17

【数学建模竞赛】数据预处理知识总结1——数据清洗

数据预处理的目的是消除数据中的噪声、错误和不完整性，以提高数据质量和分析
CaojunjiaOnly·2023-09-06 00:38

中国数据质量管理现状及发展趋势

本文根据谭海华先生在【DQMIS2020第四届数据质量管理国际峰会】现场演讲内容整理而成。
19e1a2398326·2023-09-05 02:10

20用于深度学习训练和研究的数据集

它们用于训练和评估机器学习模型，研究和开发新算法，改进数据质量，解决实际问题，推动科学研究，支持数据可视化，以及决策制定。
deephub·2023-09-04 15:54

《数据挖掘导论》归纳笔记

目录第一章绪论第二章数据2.0引言2.0.1数据类型2.0.2数据的质量2.0.3使数据适合挖掘的预处理步骤2.0.4根据数据联系分析数据2.1数据类型2.1.1属性与度量2.1.2数据集的类型2.2数据质量
oh panda·2023-09-03 05:39

数据采集及采集工具八爪鱼的使用

数据采集及采集工具八爪鱼的使用一个数据的走势是由多个维度影响的，因此我们需要通过多源的数据采集，尽可能收集到更多的数据维度，公司保证数据质量，才能得到高质量的数据挖掘结果。
Sweeney Chen·2023-09-02 14:32

20用于深度学习训练和研究的数据集

它们用于训练和评估机器学习模型，研究和开发新算法，改进数据质量，解决实际问题，推动科学研究，支持数据可视化，以及决策制定。
·2023-09-02 10:59

数据治理-参考数据与主数据

启动主数据管理常见的驱动因素满足组织数据需求管理数据质量管理数据集成的成本参考数据与主数据管理规划的目标包括确保组织在各个流程中都拥有完整、一致、最新且权威的参考数据与主数据；促使企业在各业务单元和各应用系统之间共享参考数据和主数据
世润·2023-09-01 12:26

我们从爬取1000亿个网页中学到了什么？

其中包括应对不断变化的网站格式、构建可伸缩的爬虫基础框架并保持吞吐量，与此同时还要挫败网站反机器人的手段以及维护数据质量。在这篇文章中，流行Pyt
weixin_33953249·2023-09-01 07:00

使用MaxCompute进行数据质量核查（实验篇）

实验背景和目标，参考课时6第一章：实验准备开通DataWorks服务本次实验主要使用MaxCompute（DataWorks）客户端进行开发，如已开通相关服务，则直接跳过本章节，进入实验即可。如没有开通过相关服务，则按照如下步骤开通服务。开通DataWorks服务打开浏览器，输入阿里云官网地址www.aliyun.com使用自己的阿里云官网账号登陆控制台登陆后进入管理控制台，选择产品与服务菜单，点
SunnyRivers·2023-09-01 05:55

怎么制作问卷？

帮助您优化在线调查问卷，提高数据质量和准确性。一、明确研究目的和问题在设计在线调查问卷之前，必须明确研究目的和问题。清晰的研究目的可以指导问卷设计和问题编写，确保数据能够准确反映研究需求。
courage576·2023-09-01 02:18

华为数据之道｜04 面向“业务交易”的信息架构建设｜②信息架构原则：建立企业层面的共同行为准则

数据Owner要负责所辖领域的信息架构建设和维护，负责保障所辖领域的数据质量，承接公司各个部门对本领域数据的需求，并有责任建立数据问题回溯和奖惩机制，对所辖领域的数据问题及争议进行裁决，公司
是杰夫呀·2023-08-31 13:18

火山引擎 Dataleap 数据质量解决方案和最佳实践（一）：数据质量挑战

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群什么是数据质量广义上来说，数据质量的定义是数据满足一组固有特性（质量维度）要求的程度。
·2023-08-31 10:23

数据艺术：精通数据可视化的关键步骤

同时数据可视化也是数字孪生的基础，本文小编带大家用最简单的话语为大家讲解怎么制作一个数据可视化大屏，接下来跟随小编的思路走起来~1.数据收集和清洗数据可视化最重要的一步便是数据，收集所需数据，并确保数据质量
枝上棉蛮·2023-08-30 20:43

数据库数据采集

文本文件一般由单独的服务器存储为了保证数据质量，处理源数据，还需要校验文件数据库日志解析同步（一般采用此种方式）通过同步、解析数据库日志文件系统进行数据同步。可以实现毫秒级延迟且对数据库影响小。
爱吃甜食_·2023-08-30 17:30

数据仓库总结

1.为什么要做数仓建模数据仓库建模的目标是通过建模的方法更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点。
袁奎·2023-08-30 08:27

如何使用Python爬虫清洗和处理摘要的数据

强调数据质量对于准确分析结果的影响。数据清洗的常见问题：提取数据中常见的问题，如提取值、重复值、格式问题等。分析这些问题对
小白学大数据·2023-08-30 02:35

基于数据治理的企业数据质量管理与保障解决方案PPT

导读：原文《基于数据治理的企业数据质量管理与保障解决方案PPT》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。
2023小目标·2023-08-29 19:52

大厂数仓模型规范与度量指标有哪些？

在数仓建设中，模型质量评价体系是一种重要的方法，用于评估数据模型的规范程度、数据质量和可信度。随着数据驱动的决策在企业中的重要性日益增加，数据仓库作为数据沟通和业务系统之间的中介，扮演着关键的角色。
南极找南·2023-08-29 07:25

在云原生时代，构建高效的大数据存储与分析平台

**数据质量和清洗：**12.**持续优化和改进：**个人主页：程序员小侯CSDN新晋作者
程序员 小侯·2023-08-28 23:41

数据挖掘实战—餐饮行业的数据挖掘之数据探索(EDA)

文章目录引言一、前期准备1.目标定义与任务理解二、数据采集与抽样三、数据探索1.数据质量分析1.1缺失值分析1.1.1缺失值可视化1.1.2描述性统计1.1.3统计缺失数与缺失率1.2异常值分析1.2.13σ
哎呦-_-不错·2023-08-28 22:05

数据质量监控分析平台案例拆解

在当今数字化时代，数据被誉为“新石油”，数据质量的高低直接影响着企业的决策和业务发展。然而，随着数据量的不断增长和业务复杂度越来越高，如何有效地监控和分析数据质量成为了企业的重要课题。
软信数据研究院·2023-08-28 11:17

深度学习数据预处理

参考文章：深度学习中的数据预处理方法总结在深度学习中，数据预处理（preprocessing）的重要性体现在以下几个方面：1、数据质量：原始数据通常包含错误、缺失值、异常值和噪声。
替这位空想家惊讶·2023-08-28 04:30

伴鱼数据质量平台实践+DolphinScheduler调度

日常工作中，数据开发、数仓开发工程师开发上线完一个任务后并不是就可以高枕无忧了，时常会因为上游链路数据异常或者自身处理逻辑的BUG导致产出的数据结果不可信。而这个问题的发现可能会经历一个较长的周期（尤其是离线场景），往往是业务方通过上层数据报表发现数据异常后push数据方去定位问题（对于一个较冷的报表，这个周期可能会更长）。同时，由于数据加工链路较长需要借助数据的血缘关系逐个任务排查，也会导致问题
secretWHD·2023-08-27 13:34

强烈推荐！Python爬虫入门教程！零基础也能快速掌握爬虫

虽然爬虫不是一门主流技术，但因其抓取速度快和数据质量优的两大特点而受到越来越多的人追捧，互联网时代，有爬虫技术的加持对于工作、学习来说都无疑是锦上添花。
运维光头强·2023-08-27 12:11

使用 Transformer 和 Amazon OpenSearch Service 构建基于列的语义搜索引擎

传统解决方案涉及到使用词汇关键字搜索或正则表达式匹配，这些方法容易受到数据质量问题的影响，例如缺少列名或者不同数据集中采用了不同的列命名约定（例
亚马逊云开发者·2023-08-26 12:35

AI驱动的大数据创新：探索软件开发中的机会和挑战

文章目录机会数据驱动的决策自动化和效率提升智能预测和优化个性化体验挑战数据隐私与安全技术复杂性数据质量和清洗伦理和社会问题案例：智能代码生成工具总结个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏
程序员 小侯·2023-08-26 11:46

IPIDEA分享|数据抓取可以应用到哪些行业

数据抓取通过自动化程序定时更新数据，提升了数据质量、规模和准确性，可以帮助企业和组织从互联网上收集大量的数据，以用来分析市场趋势、了解消费者行为、监测竞争对手等等。
cloud0182·2023-08-26 01:40
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他