---数据质量

数据预处理 - 类型转换（离散型）

在实际的任务中，我们所面对的数据质量都不是特别的好，如果我们对质量较差的数据集直接应用算法建模，那么得到结果也可想而知。所以在调用算法之前，必须对数据进行预处理工作。
taon·2023-06-08 06:11

论文笔记--PANGU-α

LARGE-SCALEAUTOREGRESSIVEPRETRAINEDCHINESELANGUAGEMODELSWITHAUTO-PARALLELCOMPUTATION1.文章简介2.文章概括3文章重点技术3.1Transformer架构3.2数据集3.2.1数据清洗和过滤3.2.2数据去重3.2.3数据质量评估
Isawany·2023-06-08 04:21

特征工程

定性数据：描述性质a)定类：按名称分类——血型、城市b)定序：有序分类——成绩（ABC）1.2.定量数据：描述数量a)定距：可以加减——温度、日期b)定比：可以乘除——价格、重量2.数据清洗目的：提高数据质量
csdnccfcsp·2023-06-07 20:09

数仓建模方法论

大数据的数仓建模正是通过建模的方法，更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点，一般我们会从以下面四点考虑：性能：能够快速查询所需的数据，减少数据I/O的吞吐。
产品经理自我修养·2023-06-07 15:37

数据进阶处理结课作业

数据进阶处理结课作业ppt+自己操作操作要求自己设定模型（难度适中），自编数据（张雅瑞）使用已有的数据，进行背景的简单更换将模型设定中的研究假设做简单解释，然后具体提出研究假设（张雅瑞）研究假设，根据研究背景进行提出数据质量验证
甚也不会·2023-06-07 10:41

2020第二届“数据质量管理”标杆奖项征集正式启动，助力中国数据质量技术发展

而随着数据在各个行业领域应用的不断深入，数据价值落地的直接诉求倒逼企业开始重视并加大数据质量管理的投入，在疫情肆虐的当下，数据质量更逐渐成为限制企业加速数字化变革的主要因素。
小羊耶·2023-04-21 19:30

我们为什么需要数据血缘

2、数据价值评估，数据质量难以推进表的优先级划分，计算资源的倾斜，表级数据质量监控，如何制定一个明确且科学的标准。
jane9872·2023-04-21 16:52

数据治理实践 | 网易某业务线的计算资源治理

01前言由于数据治理层面可以分多个层面且内容繁多（包括模型合规、数据质量、数据安全、计算/存储资源、数据价值等治理内容），因此需要单独拆分为6个模块单独去阐述其中内容。
wangyishufan·2023-04-21 14:05

11 | 数据科学家80%时间都花费在了这些清洗任务上？

数据质量的准则完全合一1.完整性：单条数据是否存在空值，统计的字段是否完善。2.全面性：观察某一列的全部数值，比如在Excel表中，我们选中一列，可以看到该列的平均值、最大值、最小值。
张九日zx·2023-04-21 13:44

理资产、治数据，东软一体化大数据治理

随处可见的数据不统一、数据质量差，以及难以
ivyran·2023-04-21 03:03

OushuDB 小课堂丨优化数据质量以应对经济动荡

持续的经济波动和全球经济衰退迫使企业领导人做出艰难的决定。一些正在裁员并缩减运营开销以变得更加敏捷，而另一些则实施了成本节约措施，例如削减技术支出，以提高财务灵活性。这些举措可能会在混乱时期为公司提供短期的喘息机会，但一旦经济环境好转，它们就会迫使它们重建。组织正在利用经济衰退来支持其业务领域，以提供长期价值，并允许他们在市场稳定后加速发展。为此，现在是企业决策者投资于他们最大的资产——数据的最佳
·2023-04-20 16:20

ChatGPT促进中国大语言模型发展，底层标注数据质量成关键，景联文科技提供专业数据采集标注服务

自开年以来，ChatGPT的热浪带来了一场全民的科技狂欢，同时打开了业内对NLP发展的想象空间，拉开了大语言模型产业和生成式AI产业飞速发展的序幕。海外市场中OpenAI、微软、谷歌、Meta等巨头都在积极争抢布局ChatGPT，中国市场中百度、阿里、华为、商汤、京东、科大讯飞、腾讯、360、字节跳动、昆仑万维等头部厂商也争相宣布研发或发布大语言模型产品。3月百度推出对标ChatGPT的应用文心一
景联文科技·2023-04-20 15:51

CDGP认证|ChatGPT的出现，对数据治理行业冲击如何？

ChatGPT的出现对数据治理有很多好处，其中最明显的是提供了更高效、更准确和更自动化的数据处理和分析服务,可以帮助企业和组织更好地管理和利用数据资源，提高数据质量和决策效率。
hb15302782362·2023-04-20 13:28

今天来聊聊单细胞测序：单细胞RNA-seq质量控制

在这里，我们提出了一个整合基因表达模式和数据质量的协议，以检测scRNA-seq样本中的技术构件。1.LabEquipment1.C1Single-CellAutoPr
伍鸿荣·2023-04-20 10:48

数据治理实践 | 网易某业务线的计算资源治理

01前言由于数据治理层面可以分多个层面且内容繁多（包括模型合规、数据质量、数据安全、计算/存储资源、数据价值等治理内容），因此需要单独拆分为6个模块单独去阐述其中内容。
·2023-04-20 10:30

对话抖音电商：量级庞大、参差不齐，“数据质量治理”有妙招！

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群经过近年发展，抖音电商的体量和规模已经相当可观。基于数据驱动思路，在数仓建设、数据管理等层面的工作，推动抖音电商能准确分析和测量数据，做出以数据为依据的决策，从而推动业务快速发展。其中，数据有效性、及时性、准确性关系到C端用户体验和B端商家决策，在数据体量庞大的情况下，难以避免数据缺失、纬度错误、产出延时等问题，这
·2023-04-20 10:59

DawnSql在数据治理中的优势

数据治理的流程数据治理的主要流程：数据集成数据开发数据质量数据服务1.数据集成数据集成主要包括两块：数据采集和清洗。2.数据开发数据开发包括编码研发和规范建模。
·2023-04-20 10:57

2021-05-31 DAQUA-MASS: An ISO 8000-61 Based Data Quality Management Methodology for Sensor Data

除了数据的数量和异质交换和消费，最重要的是确保数据链/生命周期的每一步都能保持数据质量水平。否则，系统可能无法满足其预期功能。虽然数据质量（DQ）是一个成熟的领域，但现有的解决方案是高度异质的。
dsemlina·2023-04-20 08:51

阿里云大数据分析师ACP考试内容是什么？考试题型是什么？

阿里云ACP大数据分析师概述是面向大数据分析师、BI工程师的专业技能认证，涵盖数据分析相关的知识体系，如大数据基础知识、大数据存储技术、数据分析工具、数据可视化、数据编程、数据质量控制、数据分析项目管理
·2023-04-20 00:43

算法风险防控

因此，需要对数据来源、数据质量、数据隐私等风险进行评估和控制。可以采用数据匿名化、加密和权限控制等技术来保障数据的安全性和隐私性。模型风险防控：在算法应用
python算法工程师·2023-04-19 12:49

数据治理实践 | 网易某业务线的计算资源治理

01前言由于数据治理层面可以分多个层面且内容繁多（包括模型合规、数据质量、数据安全、计算/存储资源、数据价值等治理内容），因此需要单独拆分为6个模块单独去阐述其中内容。
·2023-04-19 12:29

数据挖掘建模过程

1)实现动态菜品智能推荐2）对餐饮客户进行细分3）综合考虑节假日、气候等影响因素，对菜品销量进行预测4）基于餐饮大数据，优化新店选址2.数据取样抽取数据的标准：相关性；可靠性；有效性任何时候都不能忽视数据质量
静若晨光·2023-04-19 12:10

数据要素化条件之三：数据质量

因此，随着数据量的巨大增长，数据质量的良莠不齐，
jane9872·2023-04-19 11:08

数据质量评估入门&数据监控

这里的数据质量不是测试的那种质量，而是可以理解为数据自身的质量属性。什么是数据质量数据质量指数据是否适合其使用目的的程度，包括数据的准确性、完整性、一致性、可靠性和时效性等方面。
叶常落·2023-04-19 01:35

为什么工作流中的数据质量要尽早验证，经常验证？

这就是今天我们要聊的常见数据质量管理的一种常见情况。
DolphinScheduler社区·2023-04-17 20:24

第一章：数据仓库和商业智能及维度建模初步

2.必须展现一致的信息，也就是要有统一的标准，数据质量要保证，数据定义要统一
边走边看光·2023-04-17 19:33

python入门项目：数据清洗

数据清洗是指在数据分析或挖掘之前进行的，对原始数据进行预处理以确保数据质量高、准确性好的一系列操作。
简博野·2023-04-17 18:46

国产BI厂商：数字化时代的“卖水人”，扎根本土商业生态（上）

然而，传统的数据分析方式存在着诸多问题，如数据来源复杂、数据质量低、数据处理
明月说数据·2023-04-16 10:33

企业级数据管理——DAMA数据管理

11个数据管理职能数据管理职能包括数据治理、数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成和互操作、文档和内容管理、参考数据和主数据管理、数据仓库与商务智能、元数据管理、数据质量管理。
四月天03·2023-04-16 08:33

大数据测试工程师需要熟悉的数仓规范和数据测试流程

熟悉数仓规范1.数据质量规范数据质量规范是保证数据仓库数据质量的关键。在项目中，我们制定了一系列的数据质量规范，包括数据清洗、数据校验、数据标准化、数据去重、数据加工等方面。
不考虑昵称·2023-04-15 21:25

庾岭镇和平村8.21帮扶日工作情况

驻村工作队、第一书记、村两委会干部参加的和平村‘退出任务研判日’工作安排部署会，会上传达了全省新时代追赶超越暨脱贫攻坚半年工作点评推进视频会议精神和庾岭镇党委、政府8.21日工作安排；二是对当前村上脱贫攻坚数据质量提升
拾荒者_d2e1·2023-04-15 19:38

数据清洗规范和数据质量校验

数据清洗规范1.空值处理：一般使用默认值1）汇总类指标的空值：空值处理，填充为零。2）维度属性值为空：在汇总到对应维度上时，对于无法对应的统计事实，记录行会填充为null。3）空串例如“”，且不是汇总类指标置为null。数据格式内容清洗：例：yyyy-MM-dd数据源存在问题，如果是由人工收集或用户填写而来，很大可能性在格式和内容上存在问题，格式内容问题存在以下几类：1）时间、日期、数值、全半角等
创无意·2023-04-15 15:49

数据标准与主数据、元数据、数据质量的关系

数据治理项目的根本诉求在于提升数据质量数据标准与主数据的关系从范围上看，数据标准包括数据模型标准、主数据标准、参照数据标准、数据指标标准和其他数据元标准，主数据是数据标准的一个子集；从数据梳理和识别、能力成熟度评估
数据分析一号·2023-04-15 06:58

什么是元数据，如何管理和利用元数据？

基于元数据可以开展各种各样的应用设计，比如企业级统一标准规范建设实施、统一的数据管理，统一的授权管理，统一的数据质量把控，统一的数据传输与同步迁移，统一的数据服务设计等，高效应对各类风险，推动公司数据治理工作的高质量开展
一马平川的大草原·2023-04-15 04:42

太全面了，数据治理8大核心模块建设参考

一个全面且明确的数据治理体系，可以帮助组织构建生态式、协同化治理路径，最大化地提升整体数据质量，实现数据战略，激活新型生产力。
辰哥爱学习·2023-04-14 20:18

数据治理管理平台功能模块与特性

元数据体现数据的各类关系和属性，可从技术、业务、管理3个维度对元数据进行划分，从而帮助用户对整个系统内数据资产的质量和分布形成清晰直观的认知，并有助于持续地进行数据质量的提升以及问题的跟踪回溯。
中琛源科技·2023-04-14 15:54

区块链技术如何改变金融业的数据化未来

另一种趋势技术是区块链，它有潜力以更好的安全性和数据质量改变世界处理大数据的方式。问题是，这两项创新是如何相互关联的，以及这种合作能为金融业的未来带来什么呢？
风飞沙_67a5·2023-04-14 13:38

数据质量管理概述

1、数据质量的概念指的是在组织业务，管理要求下，符合数据使用者满足业务，管理需求的评价方式2、数据质量管理的概念3、4种常见低质量数据情况1）重要数据缺失有些信息暂时无法获取或者获取代价太大信息在采集输入中遗漏属性值不存在
Stannis·2023-04-14 07:19

常用异常检测模型的应用

常用异常检测模型的应用描述异常数据检测不仅仅可以帮助我们提高数据质量，同时在一些实际业务中，异常数据往往包含有价值的信息，如异常交易、网络攻击、工业品缺陷等，因此异常检测也是数据挖掘的重要手段。
九灵猴君·2023-04-13 19:16

【已更新】2023mothercup妈妈杯D题数学建模挑战赛思路代码-航空安全风险分析和飞行技术评估问题

第一题是要求我们针对附件1的数据质量开展可靠性研究，提取与飞行安全相关的部分关键数据项，并对数据项的重要程度进行分析。
千千小屋grow·2023-04-13 18:12

【已更新】2023mothercup妈妈杯D题数学建模挑战赛思路代码-航空安全风险分析和飞行技术评估问题

第一题是要求我们针对附件1的数据质量开展可靠性研究，提取与飞行安全相关的部分关键数据项，并对数据项的重要程度进行分析。
千千小屋grow·2023-04-13 18:12

银行数字化转型导师坚鹏：金融机构数据治理之道

学员收获:Ø 深入理解银保监会数据质量专项治理相关政策。Ø 深入掌握监管数据治理体系规划和实施路径。Ø 深入学习银保
银行数字化转型导师坚鹏·2023-04-13 06:25

火山引擎 DataLeap：3 小时分享，体系化讲透企业数据治理如何做？

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群数据治理伴随着数据全生命周期的进程，涉及事前规范检查、事中监控管理、事后优化复盘等过程，关键重点领域包括数据质量的可用性
字节数据平台·2023-04-13 04:35

银行数据管理办法

第二条本办法适用于我行企业数据架构管理、数据标准管理、数据质量管理、主数据管理、元数据管理、数据安全管理、数据生命周期管理、数据基础平台管理、数据应用以及数据需求与规划管理共十项数据管理领域的管理活动。
数据智能谷·2023-04-13 02:44

数据治理之数据质量管理

数据治理的理论和实践不断向前发展，但数据质量管理始终是数据治理的初衷，也是最重要的目的。下面从数据质量管理的目标，质量问题产生的根源，质量评估标准，质量管理流程，质量管理的取与舍几个方面进行阐述。
jane9872·2023-04-12 20:57

Altair Monarch产品介绍及应用

分析师花费80%的时间来查找和清理数据，每年每个分析师花费公司22000美元—BlueHill88%手动创建的电子表格包含重大错误—Forbes2016年，糟糕的数据质量使得美国损失3.1万亿美元—IBM
Altair澳汰尔·2023-04-12 19:09

企业如何进行数据治理？

神策数据通过为超过30多个行业、2000多家企业提供数据分析和数字与营销服务，总结出一套企业数据治理方案，包括数据采集、数据打通、数据质量、数据管理、数据安全五大关键点，全方位覆盖企
神策数据·2023-04-12 17:31

2023年4月企业内部定制课程简章

2023年4月企业内部定制课程简章》》数据治理内训数据管理基础数据处理伦理数据治理数据架构数据建模和设计数据安全数据集成和互操作文件和内容管理参考数据和主数据数据仓库和商务智能元数据管理数据质量大数据和数据科学数据管理成熟度评估数据管理组织与角色期望数据管理和组织变革管理
hb15302782362·2023-04-12 15:10

2023-数据质量管理方法总结

一、数据质量保障原则如何评估数据质量的好坏，业界有不同的标准，阿里主要从4个方面进行评估：完整性、准确性、一致性、及时性；1.完整性数据完整性是数据最基础的保障；完整性：指数据的记录和信息是否完整，是否存在缺失的情况
000X000·2023-04-12 15:50

SAP MDG —— MDG on S/4HANA 2022 创新汇总（Consolidation and Mass Processing）

警告消息的数据导出激活步骤中已成功激活的数据批量删除业务伙伴关系合并激活数据的作业调度在批量处理流程中移除未发生变更的数据（物料）MDG基于SAPS/4HANA2022的创新SAPMasterDataGovernance主数据治理基于SAPS/4HANA2022在主数据集中治理，数据合并和数据质量管理模块
小狼Solar·2023-04-12 13:40
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他