---数据质量

利用好临床试验数据自动采集工具，降低药企研发周期

但传统临床科研数据收集一部分采用纸质资料，或Excel软件进行录入，数据质量参差不齐。另一部分，临床试验数据的收集，来自与医院的HIS系统对接。
夏季如风·2023-06-19 02:13

ChatGPT 的未来挑战和风险

一、数据质量和公平性使用ChatGPT的主要风险之一是用于训练模型的数据质量。随着越来越多的人使用该模型生成内容，生成内容的质量可能会下降，尤其是当该模型用于生成低质量、不可靠或误导性信息时。
robot_learner·2023-06-17 21:24

基于MATLAB涡度通量数据处理

内容简述】：基于MATLAB语言、以实践案例为主，提供代码、原理与操作结合1、以涡度通量塔的高频观测数据为例：基于MATLAB上机操作2、涡度通量观测基本概况：观测技术方法、数据获取与预处理等3、涡度通量数据质量控制
吹翻书页的风·2023-06-17 20:20

基于MATLAB涡度通量数据处理技术应用

点击查看原文本文基于MATLAB语言、以实践案例为主，提供代码、原理与操作结合1、以涡度通量塔的高频观测数据为例：基于MATLAB开展上机操作2、涡度通量观测基本概况：观测技术方法、数据获取与预处理等3、涡度通量数据质量控制
PhyliciaFelicia·2023-06-17 06:09

数据治理的研究现状及未来展望

随着数据容量的快速积累、数据质量和运算能力的不断提高，如何使用和管理数据成为第四次工业革命带给人类社会的一个重要命题。数据治理有两种含义，分别是对数据的治理和利用数据治理。这二者相互联系，但并不冲突。
智能交通技术·2023-06-17 02:16

数据中台

数据模型管理数据开放接口数据编排治理报告数据管理数据管理：数据权限管理、任务调度管理、数据监控管理、数据运维管理数据访问：JDBC、SQL、API数据分析：通用计算模型管理、深度学习模型管理、指标计算、算字库、知识库数据治理：元数据管理、数据血缘管理、数据质量管理
勇敢的_心_·2023-06-16 23:40

78%的数据工程师压力大到想要找心理医生？不妨试试DataOps…

数据质量是否如预期？作业X
LinkTime_Cloud·2023-06-16 12:42

如何用 WampServer＋快解析 搭建php文件管理器

现实工作中，由于用户提供的数据可能来自不同的途径，其数据内容、数据格式和数据质量也千差万别，给数据共享带来了很大困难，有时甚至会遇到数据格式不能转换、数据转换格式后丢失信息等棘手问题，严重地阻碍了数据在各部门和各软件系统中的流动与共享
快解析·2023-06-16 06:11

从 数据工程 到 Prompt 工程

它包括数据摄取、数据转换和数据质量保证等任务。在本文[1]章中，我们使用ChatGPT和Python解决了典型的数据工程任务。通过这样做，我们探索了数据工程与提示工程新学科之间的联系。
冷冻工厂·2023-06-16 03:08

虹科干货 | BI软件如何实时连接本地Excel?—以HK-Domo商业智能工具为例

这样会导致数据质量差，流程重复，还可能增加数据错误的风险。因此，企业需要非常通过BI工具来改善数据处理流程，获得更自动化的数据体验。
虹科云科技·2023-06-14 20:08

银行数据治理：数据质量管理实践

现代商业银行日常经营活动中积累了大量数据，这些数据除了支持银行前台业务流程运转之外，越来越多地被用于决策支持领域，风险控制、产品定价、绩效考核等管理决策过程也都需要大量高质量数据支持。银行日常经营决策过程的背后，实质是数据的生产、传递和利用过程。此外，日益全面的和严格的监管措施和信息披露要求，也对银行数据提出了前所未有的挑战。如果不能对这些数据进行有效管理，其价值就得不到很好体现，甚至会给运营管理
产品经理自我修养·2023-06-14 16:16

全面解析数据治理

本文将详细介绍数据治理的各个方面，包括数据源管理、元数据管理、数据质量管理、数据分类
AIwenIPgeolocation·2023-06-14 02:42

从 数据工程 到 Prompt 工程

它包括数据摄取、数据转换和数据质量保证等任务。在本文章中，我们使用ChatGPT和Python解决了典型的数据工程任务。通过这样做，我们探索了数据工程与提示工程新学科之间的联系。
·2023-06-13 23:43

淬体归元，运营商资源域元数据管理

高质量的元数据是提升业务效率、加强管理与分析能力的必要条件，构建资源元数据数据体系是提升资源数据质量的关键基础性工作。
鲸品堂·2023-06-13 15:47

企企通“码上顺”清洗工具 | 让数据更有价值，让业务更出色

1、剖析：数据管理问题但许多企业随着公司规模日益壮大，物料主数据的数量也在逐步增长，数据质量愈发不受控，“一物多码”或“多物一码”的现象时
企企通采购云平台·2023-06-13 15:13

今天被气的浑身疼

年前休产假之前某县城换了新的工作人员，报过一次数，感觉数据质量还行；小孩我也见过，感觉挺利落的，此为背景。
wendy的一亩三分地·2023-06-13 13:27

企业数据战略

一、数据战略定义数据战略是企业精细化数据管理不可或缺的基础，只有切实落实好数据战略工作，才能提升企业数据质量、实现企业数据价值的升华，为企业数字化转型奠定基础。
泪痕残·2023-06-13 12:44

从数据中台实践，浅谈数据质量管理

时代背景近20年来，我国的科学技术发展日新月异，各种新兴技术层出不穷，深刻的改变着各行各业，也改变着我们的生活。大数据、云计算、人工智能的出现更是将技术革命推向了高潮。在这种背景下，继农业经济、工业经济之后，数字经济诞生了，并且随着科技的不断发展，它将成为主要经济形态。在2022年，我国数字经济核心产业增加值占国内生产总值（GDP）比重达到7.8%，数字经济为经济社会持续健康发展提供了强大动力。也
元年技术·2023-06-13 11:15

pythoncsv格式清洗与转换_数据预处理-清洗转换

当数据质量校验完成后，针对有问题的数据要进行的是数据清洗和转换，另外还包括对正常数据的转换。数据清洗的主要作用包括：纠正错误、删除重复项、统一规格、修正逻辑、转换构造和数据压缩。
weixin_39738152·2023-06-13 11:49

2020-02-17 GWAS进阶备选学习资料（GWAS tutorial）

1分析流程GWAS分析基本流程及分析思路2数据处理2.1数据质量过滤GWAS基因芯片数据预处理：质量控制（qualitycontrol）2.2正负链翻转（standflip）数据合并，踩不完的坑2.3基因型数据填补
程凉皮儿·2023-06-13 03:08

数据分析项目——深圳二手房价分析及价格预测

预测模块一、需求说明深圳二手房数据分析及价格预测的总体目标：基于Python数据科学基础，利用所学Python语言和数据分析的相关知识，对深圳二手房价数据进行分析和建立房价预测模型进行预测，实现数据合并对数据质量
Deng_insist·2023-06-13 02:12

房地产大数据分析软件_房地产大数据公司案例

随着地产集团业务的发展、用户数量增加，ERP系统的更换与数据源的增加，旧的数据平台暴露出明显的问题：●数据不够全面●数据质量差●报表交互方式单一●报表开发周期长●多维汇总报表缺少分析●碎片化的数据和应用下面给大家
思迈特Smartbi·2023-06-13 02:11

大数据治理入门系列：数据质量

因此，为了避免这类问题，组织机构有必要把控数据质量。数据质量也是数据治理的重要一环。狭义的数据质量仅指数据在准确性、有效
马哈鱼SQLFlow·2023-06-13 01:21

顺丰科技数据治理实践

十年前，我们就已经建了数仓，同步做了元数据管理，数据质量管理，以及数据安全的管理。顺丰数据治理的演进路线分3个阶段。第一阶段：2020年前，我们主要在进行数据平台的搭建，关键领域能力的建设。
产品经理自我修养·2023-06-12 06:09

国内量化平台不完全汇总

优点：数据质量较高(在免费平台里我给它排第一)；大厂出品，更新维护有保障；券商服务器端运行，能白嫖“服务器”，还能大大的节省API通信的时间。
猪哥哥021·2023-06-11 04:08

OpenHarmony源码解析(12): hisysevent

1、概述HiSysEvent是面向OpenHarmony系统开发者提供的系统打点功能，通过在关键路径埋点来记录系统在运行过程中的重要信息，辅助开发者定位问题，此外还支持开发者将打点数据上传到云进行大数据质量度量
myxuan475·2023-06-11 00:02

数据治理项目经验分享

业务变更频繁、建模缺位、指标爆炸，是导致互联网大数据环境中数据质量的低下的根本原因。而在部委、集团中，时间相对充裕一些，标准更规范一些，但是同样面临部委和省级之间、各系统之间数据交换、对齐的问题。
hzp666·2023-06-10 21:26

Hive 巡检工具-对表数据量、主键重复数量以及每个字段标签的空值检测

目录背景巡检工具数据准备1、准备一张配置信息表，该表保存需要巡检的数据信息（规则code不可重复）2、pyspark代码编写结果表数据展示规则自动检测并自增数据准备背景该需求是利用pyspark对部分重点产出表进行数据质量监控
小菜菜1223·2023-06-10 20:00

数据治理 | 质检监控中心

01前言期，我们来聊聊数据质量检测和监控的核心工具——DQC和SLA。02基本概念DQC，即DataQualityControl，数据质量检测/数据质量控制，一般我们称为数据质量监控。
jane9872·2023-06-10 18:37

哨兵2号（Sentinel-2）卫星数据批量处理

李国春20211011哨兵2号（Sentinel-2）数据广受欢迎，数据质量好，还免费。人家欧空局有自己的处理软件，也有控制台命令行的批量处理。
副组长·2023-06-10 15:59

大数据分析的Python实战指南：数据处理、可视化与机器学习【上进小菜猪大数据】

数据清洗和预处理在大数据分析中，数据质量和准确性至关重要。在进行任何分析之前，我们需要对原始数据进行
上进小菜猪·2023-06-10 01:24

首批！成为北京市大模型伙伴！

“为推动大模型产业加速落地，并解决市场主体在应用大模型时面临的算力资源不足、数据质量不高、场景开放不够等问题，北京市启动“通用人工智能产业创新伙伴计划”（以下简称伙伴计划）。
百度智能云·2023-06-09 22:29

数据治理：数据质量评价体系

数据质量人人有责，这不仅仅只是一句口号，更是数据工作者的生命线。数据质量的好坏直接决定着数据价值高低。
产品经理自我修养·2023-06-09 16:40

数据治理核心保障数据质量监控开源项目Apache Griffin分享

文章目录概述定义为何要做数据质量监控基本概念特性架构安装Docker部署Docker镜像批处理使用Docker镜像流处理使用UI界面操作概述定义ApacheGriffin官网地址https://griffin.apache.org
IT小神·2023-06-09 00:49

数据类型错误带来严重后果！一文读懂怎么正确选择数据类型

确保数据质量应该是IT专业人员最重要的目标之一。如今，这一点比以往任何时候都更为重要，因为组织依靠数据来驱动其人工智能和机器学习算法。如果你希望做出准确的决策，就需要准确、高质量的数据。
沃趣数据库管理平台·2023-06-08 20:58

数据预处理 - 类型转换（离散型）

在实际的任务中，我们所面对的数据质量都不是特别的好，如果我们对质量较差的数据集直接应用算法建模，那么得到结果也可想而知。所以在调用算法之前，必须对数据进行预处理工作。
taon·2023-06-08 06:11

论文笔记--PANGU-α

LARGE-SCALEAUTOREGRESSIVEPRETRAINEDCHINESELANGUAGEMODELSWITHAUTO-PARALLELCOMPUTATION1.文章简介2.文章概括3文章重点技术3.1Transformer架构3.2数据集3.2.1数据清洗和过滤3.2.2数据去重3.2.3数据质量评估
Isawany·2023-06-08 04:21

特征工程

定性数据：描述性质a)定类：按名称分类——血型、城市b)定序：有序分类——成绩（ABC）1.2.定量数据：描述数量a)定距：可以加减——温度、日期b)定比：可以乘除——价格、重量2.数据清洗目的：提高数据质量
csdnccfcsp·2023-06-07 20:09

数仓建模方法论

大数据的数仓建模正是通过建模的方法，更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点，一般我们会从以下面四点考虑：性能：能够快速查询所需的数据，减少数据I/O的吞吐。
产品经理自我修养·2023-06-07 15:37

数据进阶处理结课作业

数据进阶处理结课作业ppt+自己操作操作要求自己设定模型（难度适中），自编数据（张雅瑞）使用已有的数据，进行背景的简单更换将模型设定中的研究假设做简单解释，然后具体提出研究假设（张雅瑞）研究假设，根据研究背景进行提出数据质量验证
甚也不会·2023-06-07 10:41

2020第二届“数据质量管理”标杆奖项征集正式启动，助力中国数据质量技术发展

而随着数据在各个行业领域应用的不断深入，数据价值落地的直接诉求倒逼企业开始重视并加大数据质量管理的投入，在疫情肆虐的当下，数据质量更逐渐成为限制企业加速数字化变革的主要因素。
小羊耶·2023-04-21 19:30

我们为什么需要数据血缘

2、数据价值评估，数据质量难以推进表的优先级划分，计算资源的倾斜，表级数据质量监控，如何制定一个明确且科学的标准。
jane9872·2023-04-21 16:52

数据治理实践 | 网易某业务线的计算资源治理

01前言由于数据治理层面可以分多个层面且内容繁多（包括模型合规、数据质量、数据安全、计算/存储资源、数据价值等治理内容），因此需要单独拆分为6个模块单独去阐述其中内容。
wangyishufan·2023-04-21 14:05

11 | 数据科学家80%时间都花费在了这些清洗任务上？

数据质量的准则完全合一1.完整性：单条数据是否存在空值，统计的字段是否完善。2.全面性：观察某一列的全部数值，比如在Excel表中，我们选中一列，可以看到该列的平均值、最大值、最小值。
张九日zx·2023-04-21 13:44

理资产、治数据，东软一体化大数据治理

随处可见的数据不统一、数据质量差，以及难以
ivyran·2023-04-21 03:03

OushuDB 小课堂丨优化数据质量以应对经济动荡

持续的经济波动和全球经济衰退迫使企业领导人做出艰难的决定。一些正在裁员并缩减运营开销以变得更加敏捷，而另一些则实施了成本节约措施，例如削减技术支出，以提高财务灵活性。这些举措可能会在混乱时期为公司提供短期的喘息机会，但一旦经济环境好转，它们就会迫使它们重建。组织正在利用经济衰退来支持其业务领域，以提供长期价值，并允许他们在市场稳定后加速发展。为此，现在是企业决策者投资于他们最大的资产——数据的最佳
·2023-04-20 16:20

ChatGPT促进中国大语言模型发展，底层标注数据质量成关键，景联文科技提供专业数据采集标注服务

自开年以来，ChatGPT的热浪带来了一场全民的科技狂欢，同时打开了业内对NLP发展的想象空间，拉开了大语言模型产业和生成式AI产业飞速发展的序幕。海外市场中OpenAI、微软、谷歌、Meta等巨头都在积极争抢布局ChatGPT，中国市场中百度、阿里、华为、商汤、京东、科大讯飞、腾讯、360、字节跳动、昆仑万维等头部厂商也争相宣布研发或发布大语言模型产品。3月百度推出对标ChatGPT的应用文心一
景联文科技·2023-04-20 15:51

CDGP认证|ChatGPT的出现，对数据治理行业冲击如何？

ChatGPT的出现对数据治理有很多好处，其中最明显的是提供了更高效、更准确和更自动化的数据处理和分析服务,可以帮助企业和组织更好地管理和利用数据资源，提高数据质量和决策效率。
hb15302782362·2023-04-20 13:28

今天来聊聊单细胞测序：单细胞RNA-seq质量控制

在这里，我们提出了一个整合基因表达模式和数据质量的协议，以检测scRNA-seq样本中的技术构件。1.LabEquipment1.C1Single-CellAutoPr
伍鸿荣·2023-04-20 10:48

数据治理实践 | 网易某业务线的计算资源治理

01前言由于数据治理层面可以分多个层面且内容繁多（包括模型合规、数据质量、数据安全、计算/存储资源、数据价值等治理内容），因此需要单独拆分为6个模块单独去阐述其中内容。
·2023-04-20 10:30
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他