---数据质量

【小笔记】当一个算法性能不满意，可能是这几方面的原因

【学而不思则罔，思而不学则殆】2023.9.9原因一：数据质量有问题数据决定了算法的上限，在大模型时代，这句话仍然管用（比如openAI对数据的标注要求就非常高）数据的问题主要有这几方面：1.不同类别的样本数量很不平衡这是一个非常常见的问题
落叶阳光·2023-09-09 21:54

企业数字化神经网络

业务系统是企业数据资源的源头，只有源头良好、数据标准化程度高以及数据质量优良，才能为数据的利用打下坚实的基础。
白牛DATA·2023-09-07 19:39

浅析数据标注的难点与解决方法丨曼孚科技

因此，针对现阶段数据标注存在的一系列问题，本文将从数据质量、成本效益、标注员自身素质与专业知识储备等方面探讨数据标注的难点，并提出解决这些问题的方法和技术。难点一：主观性与一致
·2023-09-07 16:48

【数学建模】数据预处理

以下是为什么要进行数据预处理的几个原因：数据质量：原始数据往往存在噪声、异常值、缺失值等问题，这些问题会对建模结果产生负面影响。通过数据预处理，可以去除噪声和异常值，填补缺失值，提高数据质量。
时雨h·2023-09-07 12:35

数据治理-数据质量-1

为什么要保证数据质量有效的数据管理涉及一系列复杂的、相互关联的过程，它使组织能够利用他们的数据来实现战略目标。
世润·2023-09-06 09:33

AI应用如何进行测试？

1.数据质量测试数据测试环节需要使
这我可不懂·2023-09-06 06:09

影子模式，是不是被“神化”了？

在谈自动驾驶的数据时，除数据规模外，我们说得最多的就是“数据质量”，而所谓“高质量的数据”往往特指极端工况数据。
九章智驾·2023-09-06 02:17

【数学建模竞赛】数据预处理知识总结1——数据清洗

数据预处理的目的是消除数据中的噪声、错误和不完整性，以提高数据质量和分析
CaojunjiaOnly·2023-09-06 00:38

中国数据质量管理现状及发展趋势

本文根据谭海华先生在【DQMIS2020第四届数据质量管理国际峰会】现场演讲内容整理而成。
19e1a2398326·2023-09-05 02:10

20用于深度学习训练和研究的数据集

它们用于训练和评估机器学习模型，研究和开发新算法，改进数据质量，解决实际问题，推动科学研究，支持数据可视化，以及决策制定。
deephub·2023-09-04 15:54

《数据挖掘导论》归纳笔记

目录第一章绪论第二章数据2.0引言2.0.1数据类型2.0.2数据的质量2.0.3使数据适合挖掘的预处理步骤2.0.4根据数据联系分析数据2.1数据类型2.1.1属性与度量2.1.2数据集的类型2.2数据质量
oh panda·2023-09-03 05:39

数据采集及采集工具八爪鱼的使用

数据采集及采集工具八爪鱼的使用一个数据的走势是由多个维度影响的，因此我们需要通过多源的数据采集，尽可能收集到更多的数据维度，公司保证数据质量，才能得到高质量的数据挖掘结果。
Sweeney Chen·2023-09-02 14:32

20用于深度学习训练和研究的数据集

它们用于训练和评估机器学习模型，研究和开发新算法，改进数据质量，解决实际问题，推动科学研究，支持数据可视化，以及决策制定。
·2023-09-02 10:59

数据治理-参考数据与主数据

启动主数据管理常见的驱动因素满足组织数据需求管理数据质量管理数据集成的成本参考数据与主数据管理规划的目标包括确保组织在各个流程中都拥有完整、一致、最新且权威的参考数据与主数据；促使企业在各业务单元和各应用系统之间共享参考数据和主数据
世润·2023-09-01 12:26

我们从爬取1000亿个网页中学到了什么？

其中包括应对不断变化的网站格式、构建可伸缩的爬虫基础框架并保持吞吐量，与此同时还要挫败网站反机器人的手段以及维护数据质量。在这篇文章中，流行Pyt
weixin_33953249·2023-09-01 07:00

使用MaxCompute进行数据质量核查（实验篇）

实验背景和目标，参考课时6第一章：实验准备开通DataWorks服务本次实验主要使用MaxCompute（DataWorks）客户端进行开发，如已开通相关服务，则直接跳过本章节，进入实验即可。如没有开通过相关服务，则按照如下步骤开通服务。开通DataWorks服务打开浏览器，输入阿里云官网地址www.aliyun.com使用自己的阿里云官网账号登陆控制台登陆后进入管理控制台，选择产品与服务菜单，点
SunnyRivers·2023-09-01 05:55

怎么制作问卷？

帮助您优化在线调查问卷，提高数据质量和准确性。一、明确研究目的和问题在设计在线调查问卷之前，必须明确研究目的和问题。清晰的研究目的可以指导问卷设计和问题编写，确保数据能够准确反映研究需求。
courage576·2023-09-01 02:18

华为数据之道｜04 面向“业务交易”的信息架构建设｜②信息架构原则：建立企业层面的共同行为准则

数据Owner要负责所辖领域的信息架构建设和维护，负责保障所辖领域的数据质量，承接公司各个部门对本领域数据的需求，并有责任建立数据问题回溯和奖惩机制，对所辖领域的数据问题及争议进行裁决，公司
是杰夫呀·2023-08-31 13:18

火山引擎 Dataleap 数据质量解决方案和最佳实践（一）：数据质量挑战

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群什么是数据质量广义上来说，数据质量的定义是数据满足一组固有特性（质量维度）要求的程度。
·2023-08-31 10:23

数据艺术：精通数据可视化的关键步骤

同时数据可视化也是数字孪生的基础，本文小编带大家用最简单的话语为大家讲解怎么制作一个数据可视化大屏，接下来跟随小编的思路走起来~1.数据收集和清洗数据可视化最重要的一步便是数据，收集所需数据，并确保数据质量
枝上棉蛮·2023-08-30 20:43

数据库数据采集

文本文件一般由单独的服务器存储为了保证数据质量，处理源数据，还需要校验文件数据库日志解析同步（一般采用此种方式）通过同步、解析数据库日志文件系统进行数据同步。可以实现毫秒级延迟且对数据库影响小。
爱吃甜食_·2023-08-30 17:30

数据仓库总结

1.为什么要做数仓建模数据仓库建模的目标是通过建模的方法更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点。
袁奎·2023-08-30 08:27

如何使用Python爬虫清洗和处理摘要的数据

强调数据质量对于准确分析结果的影响。数据清洗的常见问题：提取数据中常见的问题，如提取值、重复值、格式问题等。分析这些问题对
小白学大数据·2023-08-30 02:35

基于数据治理的企业数据质量管理与保障解决方案PPT

导读：原文《基于数据治理的企业数据质量管理与保障解决方案PPT》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。
2023小目标·2023-08-29 19:52

大厂数仓模型规范与度量指标有哪些？

在数仓建设中，模型质量评价体系是一种重要的方法，用于评估数据模型的规范程度、数据质量和可信度。随着数据驱动的决策在企业中的重要性日益增加，数据仓库作为数据沟通和业务系统之间的中介，扮演着关键的角色。
南极找南·2023-08-29 07:25

在云原生时代，构建高效的大数据存储与分析平台

**数据质量和清洗：**12.**持续优化和改进：**个人主页：程序员小侯CSDN新晋作者
程序员 小侯·2023-08-28 23:41

数据挖掘实战—餐饮行业的数据挖掘之数据探索(EDA)

文章目录引言一、前期准备1.目标定义与任务理解二、数据采集与抽样三、数据探索1.数据质量分析1.1缺失值分析1.1.1缺失值可视化1.1.2描述性统计1.1.3统计缺失数与缺失率1.2异常值分析1.2.13σ
哎呦-_-不错·2023-08-28 22:05

数据质量监控分析平台案例拆解

在当今数字化时代，数据被誉为“新石油”，数据质量的高低直接影响着企业的决策和业务发展。然而，随着数据量的不断增长和业务复杂度越来越高，如何有效地监控和分析数据质量成为了企业的重要课题。
软信数据研究院·2023-08-28 11:17

深度学习数据预处理

参考文章：深度学习中的数据预处理方法总结在深度学习中，数据预处理（preprocessing）的重要性体现在以下几个方面：1、数据质量：原始数据通常包含错误、缺失值、异常值和噪声。
替这位空想家惊讶·2023-08-28 04:30

伴鱼数据质量平台实践+DolphinScheduler调度

日常工作中，数据开发、数仓开发工程师开发上线完一个任务后并不是就可以高枕无忧了，时常会因为上游链路数据异常或者自身处理逻辑的BUG导致产出的数据结果不可信。而这个问题的发现可能会经历一个较长的周期（尤其是离线场景），往往是业务方通过上层数据报表发现数据异常后push数据方去定位问题（对于一个较冷的报表，这个周期可能会更长）。同时，由于数据加工链路较长需要借助数据的血缘关系逐个任务排查，也会导致问题
secretWHD·2023-08-27 13:34

强烈推荐！Python爬虫入门教程！零基础也能快速掌握爬虫

虽然爬虫不是一门主流技术，但因其抓取速度快和数据质量优的两大特点而受到越来越多的人追捧，互联网时代，有爬虫技术的加持对于工作、学习来说都无疑是锦上添花。
运维光头强·2023-08-27 12:11

使用 Transformer 和 Amazon OpenSearch Service 构建基于列的语义搜索引擎

传统解决方案涉及到使用词汇关键字搜索或正则表达式匹配，这些方法容易受到数据质量问题的影响，例如缺少列名或者不同数据集中采用了不同的列命名约定（例
亚马逊云开发者·2023-08-26 12:35

AI驱动的大数据创新：探索软件开发中的机会和挑战

文章目录机会数据驱动的决策自动化和效率提升智能预测和优化个性化体验挑战数据隐私与安全技术复杂性数据质量和清洗伦理和社会问题案例：智能代码生成工具总结个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏
程序员 小侯·2023-08-26 11:46

IPIDEA分享|数据抓取可以应用到哪些行业

数据抓取通过自动化程序定时更新数据，提升了数据质量、规模和准确性，可以帮助企业和组织从互联网上收集大量的数据，以用来分析市场趋势、了解消费者行为、监测竞争对手等等。
cloud0182·2023-08-26 01:40

三维模型OBJ格式轻量化压缩处理的数据质量提升方法分析

三维模型OBJ格式轻量化压缩处理的数据质量提升方法分析在三维模型的OBJ格式轻量化压缩处理过程中，除了减小文件大小和提高加载速度之外，我们也需要考虑如何提升数据质量。
3D探路人·2023-08-25 12:54

自然语言处理在智能客服和聊天机器人中的应用

2.2语法分析2.3语义理解2.4情感分析3.智能客服中的应用3.1自动问答3.2意图识别3.3情感分析与情绪识别4.聊天机器人中的应用4.1对话生成4.2上下文理解5.技术原理与挑战5.1语言模型5.2数据质量和多样性
IT·陈寒·2023-08-25 08:40

数据质量监控Griffin——使用

一、环境生产环境数据质量监控griffin：地址：http://XXXXXXXXX:4200/#/health账号：admin密码：123456二、Griffin是干什么的？
你个佬六、恐龙扛狼扛狼扛·2023-08-25 05:49

互联网开发工具篇

数据治理工具的主要功能包括：数据分类、数据质量管理、元数据管理、数据安全与隐私保护、数据标准化、数据血缘分析、数据合规性管理等。
、小H·2023-08-25 01:22

“数据”到底是资产还是负债？

同时，相较于实物资产，数据资产的管理目前还处于初级阶段，数据质量、数据安全、资产评估、资产交换交易等精细管理、价值挖掘和持续运营也较为薄弱。核音智言能够帮助企业进行专业
核音智言·2023-08-24 08:44

如何选择图像标注工具？

数据标注平凡而不平庸，标注的数据质量将直接影响模型的质量。选择恰当高效的标注工具也决定着数据的产出质量。
澳鹏Appen·2023-08-24 02:28

水体测试积分球

在水质分析化验中，要对样品进行严格的控制，严格遵守相关的检测规程，并将检测结果送交有关部门进行评定，减少数据误差，改善数据质量，并提供最后的分析结果。
JYGD686868·2023-08-24 01:37

机器学习算法的选择和优化技巧

文章目录机器学习算法的选择1.问题类型：2.数据规模：3.特征空间：4.数据质量：机器学习算法的优化技巧1.特征工程：2.超参数调优：3.集成方法：4.模型调优：代码示例：超参数调优拓展：深度学习中的优化技巧结论欢迎来到
IT·陈寒·2023-08-23 19:21

基金公司数据治理实践，打造“点线面体”的数据治理体系

基金行业也表现出一定的痛点，其中表现为数据安全保护不够到位，缺少数据脉络，数据质量得不到保障等。
袋鼠云数栈·2023-08-23 17:10

数据治理在大模型时代的实践和创新

数据治理在大模型时代中变得愈发重要，它不仅仅是确保数据质量，还需要适应新技术的变革并保护数据隐私。本文将探讨数据治理在大模型时代的实践和创新。
云长歌·2023-08-23 12:22

如何在数据中台中提高效率并节省成本？

上节讨论了如何保障数据中台的数据质量，让数据“准”。除了“快”和“准”，数据中台还离不开“省”。随数据规模越来越大，成本越来越高，如不合理控制成本，还没等你挖掘出数据应用价值，企业利润就被消耗完。
·2023-08-22 17:31

大数据技术的问题与挑战

(4)大数据质量和可用性问题：比如数据的冗余、噪声和误差的负面影响，还有数据一致性、精确性和完整性等问题。对大数据感兴趣的朋友可以到科多大数据咨询
kuntoria·2023-08-22 13:15

探索人工智能 | 模型训练 使用算法和数据对机器学习模型进行参数调整和优化

数据质量和数据多样性对于模型的性能和泛化能力至关重要。以下是
阿Q说代码·2023-08-21 23:05

大数据技术选型

Tez、Spark、Flink数据查询Presto、Druid、Impala、Kylin数据可视化Echarts、QuickBI任务调度Azkaban、Oozie集群监控Zabbix元数据管理Atals数据质量监控工具
菜鸟社长·2023-08-21 16:12

大语言模型之四-LlaMA-2从模型到应用

-2火出圈，从huggingface的OpenLLMLeaderboard开源大语言模型排行榜可以看到LlaMA-2还是非常有潜力的开源商用大语言模型之一，相比InstructGPT，LlaMA-2在数据质量
shichaog·2023-08-20 09:38

数字化的今天我们应该了解哪些数据技术（1）--大数据的发展

各种数据治理的框架概念也已逐渐被人熟知，比如元数据、数据质量、主数据、数据标准、数据转化、数据资产等等。有意思的是从我
少晗·2023-08-19 03:09
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他