数据质量

爬虫之隧道代理：如何在爬虫中使用代理IP？

在进行网络爬虫时，使用代理IP是一种常见的方式来绕过网站的反爬虫机制，提高爬取效率和数据质量。本文将详细介绍如何在爬虫中使用隧道代理，包括其原理、优势以及具体的实现方法。
2401_87251497·2024-09-15 23:34

如何让大模型更聪明？

让大模型更聪明，从算法创新、数据质量与多样性、模型架构优化等角度出发，我们可以采取以下策略：一、算法创新优化损失函数：损失函数是优化算法的核心，直接影响模型的最终性能。
吗喽一只·2024-09-13 13:54

大规模语言模型的书籍分享，从零基础入门到精通非常详细收藏我这一篇就够了

第一点是可拓展的训练架构与学习范式:Transformer架构能够拓展到百亿、千亿甚至万亿参数规模，并且将预训练任务统一为预测下一个词这一通用学习范式;第二点是对于数据质量与数据规模的重视:不同于BERT
黑客-雨·2024-09-13 10:05

AJAX实时表单验证系统

本文还有配套的精品资源，点击获取简介：在网页开发中，"ajax验证表单"是一项关键任务，确保数据符合格式和规则，提升数据质量和用户体验。
三年九班蓝同学·2024-09-11 04:26

客户数据管理的最佳实践-构建客户统一视图

文章摘自7月16日，华矩科技数据治理系列讲座，谭海华先生带来的分享：客户数据管理的最佳实践-构建客户统一视图，说明客户数据管理的流程与难点，以及数据质量与治理在构建客户统一视图的角色。
hanxiaolaa·2024-09-09 06:00

论数据治理的价值：解锁数字时代的核心竞争力

一、提升数据质量，奠定决策基石数据治理的首要价值在于提升数据质量。通过制定统一的数据标准、规范数据采
ShiTuanWang·2024-09-08 22:40

数据清洗：信息时代的黄金前奏

数据清洗，作为数据预处理的核心步骤，其重要性不言而喻，它是确保数据质量、提升数据分析准确性与效率的关键所在。一、数据清洗的定义与意
ShiTuanWang·2024-09-08 22:40

数据治理框架下的数据提取审计：确保数据质量和安全性

数据治理框架下的数据提取审计：确保数据质量和安全性一、引言在数字化时代，数据已成为企业最重要的资产之一。数据治理框架是确保数据资产得到有效管理和保护的关键机制。
筛斗数据·2024-09-08 22:06

chatgpt赋能python：Python拆分CSV：快速轻松地处理大规模数据

在大规模数据处理中，常见的问题是数据质量较差
b45e1933f46·2024-09-08 03:59

大数据测试

以下是一些主要的大数据测试点：一、数据质量测试数据完整性：确保数据在传输、存储和处理过程中没有遗漏或损坏，包括检查数据是否按照预期的规则和逻辑进行处理，如数据的清洗、去重、合并、转换等操作。
这不巧了·2024-09-07 10:32

华为数据之道-读书笔记7

打造“清洁数据”的质量综合管理能力一、基于PDCA的数据质量管理框架1、什么是数据质量华为数据质量指“数据满足应用的可信程度”，有以下6个维度完整性：数据在创建、传递过程中无缺失和遗漏，包括实体完整、属性完整
baidu_38792549·2024-09-07 00:27

从数据资源到数据资产的路有多长？

然而，企业的数据仍然存在着大量沉睡的数据、数据孤岛严重、数据质量堪忧、数据安全隐患等诸多问题，这些问题不解决，数据就只是数据，算不得数据资产。
数字天下·2024-09-06 22:13

CDGA|数据治理：确保数据质量与价值的综合性框架

在当今的数字化时代，数据已成为企业运营和决策的核心资源。为了确保数据的质量、安全性、合规性和可用性，数据治理成为了企业不可或缺的一部分。数据治理是一个综合性的框架，涵盖了多个方面，旨在最大限度地利用数据资产并降低数据相关的风险。一、数据战略与政策数据治理的首要任务是制定数据战略，确立数据治理的总体方向和长期规划。这包括明确数据治理的目标、方针和政策，确保整个组织在数据管理方面保持一致性。同时，还需
vx15302782362·2024-09-04 14:08

人工智能在政务行业的发展会面临哪些挑战？

-数据质量低：部分政务数据存在不完整、不准确、不一致等问题，这会降低人工智能分析结果的可靠性和有效性。比如，某些
alankuo·2024-09-04 07:16

医药医疗行业数字化转型数据架构设计方法论及典型案例

医药医疗行业数字化转型数据架构设计方法论及典型案例医药医疗行业数字化转型数据架构设计方法论及典型案例数字化转型背景与趋势医药行业现状及挑战数字化转型必要性发展趋势与前景展望数据架构设计方法论数据架构概述及重要性设计原则与策略制定实施步骤与关键技术典型案例分析：某大型药企数据架构实践项目背景与目标设定数据架构规划与设计过程实施效果及经验总结面临的挑战与解决方案数据质量管理问题及对策数据安全防护策略部
数字化建设方案·2024-09-02 19:04

数据库系统概论：数据库完整性

数据库完整性是确保数据质量的基石，它涵盖了数据的正确性、相容性和一致性，是数据安全与业务连续性的保障。数据库完整性是指数据的精确性、可靠性和逻辑一致性，它防止数据库中出现不符合语义的数据。
ZachOn1y·2024-08-31 19:37

5G SPS配置

这些参数的配置旨在提高传输效率和数据质量，同时确保数据传输的可靠性和稳定性。在实施SPS配置时，关键在
cuisidong1997·2024-08-31 11:12

如何有效管理机器学习与人工智能

如何有效管理机器学习与人工智能1.模型开发阶段的风险管理a.数据质量与偏见管理b.模型透明性与可解释性c.偏见与公平性测试2.部署阶段的风险管理a.安全与隐私保护b.实时监控与反馈机制c.模型回滚与更新机制
听忆.·2024-08-30 10:51

如何提升大模型的智能水平？

以下从算法创新、数据质量与多样性、模型架构优化等方向进行详细阐述。一、不断探索和开发新的算法，以提高模型的学习和推理能力算法创新是提升大模型智能的重要途径。
刷刷刷粉刷匠·2024-08-26 11:21

数据治理平台有哪些特色

以下是对这些特色的详细阐述：一、全面的数据管理能力数据质量管理：确保数据的准确性、完整性和一致性。
ShiTuanWang·2024-08-24 01:26

CDGA|数据治理落地实践指南：构建高效、安全的数据管理体系

在数字化转型的大潮中，数据已成为企业最宝贵的资产之一，而数据治理作为确保数据质量、提升数据价值、保障数据安全的关键环节，其重要性日益凸显。
vx15302782362·2024-08-23 23:44

python之数据模型训练过程详解

数据准备的主要目标是将原始数据整理成模型可以使用的格式，并确保数据质量和适用性。数据获取和加载：使用Python中的工具（如NumPy、Pandas）从文件、数据库或API中加载数据。
m0_68949064·2024-08-23 00:17

基于TOGAF的4A企业架构规划方法论：基于TOGAF的四个核心架构：业务架构、数据架构、应用架构和技术架构，结合自身业务特点和实践经验，形成的一套企业架构规划方法。

TOGAF的企业架构概述TOGAF框架简介4A企业架构核心理念企业架构规划目标与原则业务架构规划业务流程梳理与优化业务能力分析与定位业务架构设计模式与实践数据架构规划数据治理策略与原则数据模型设计与优化数据质量管理与安全保障应用架构规划应用系统需求分析与评估应用架构设计模式与实践应用集成与接口管理技术架构规划技术栈选型
数字化建设方案·2024-08-22 20:00

【机器学习】探索数据矿藏：Python中的AI大模型与数据挖掘创新实践

前言：探索数据矿藏1.数据获取与预处理：AI大模型的燃料1.1数据获取：多样性与规模并重1.2数据清洗与处理：提升数据质量1.3特征工程：挖掘数据的深层次信息1.4自动化特征工程：AI与特征工程的结合2
C_GUIQU·2024-08-22 10:55

什么是湖仓一体

数据湖回顾在之前的文章《什么是数据湖》中提到数据湖遇到的几个挑战：不支持事务，缺乏对数据质量和治理的约束，缺乏性能优化的手段。
修破立生·2024-08-21 21:03

物联网边缘网关有哪些优势？-天拓四方

在这样的背景下，物联网边缘网关应运而生，以其低延迟、减少带宽消耗、提高数据质量和安全性等优势，为物联网应用提供了强大的支持。物联网边缘网关的应用场景广泛，几乎涵盖了所有需要实时数据处理和传输的领域。
北京天拓四方科技股份有限公司·2024-03-29 02:31

数据挖掘中的【数据预处理】

学习参考链接：[整理一份详细的数据预处理方法(https://zhuanlan.zhihu.com/p/51131210)数据预处理有两种不同的理解：1、数据挖掘中的预处理改善数据质量，有利于后期分析数据去重数据异常
ZFour_X·2024-03-17 09:15

大语言模型可信性浅谈

本文将从多个维度探讨大语言模型的可信性问题，包括模型性能、数据质量、隐私保护等方面，并提出相应的解决方案。一、引言大语言模型是指能够处理大规模文本数据的深度学习模型，如BERT、GPT等。
MarkHD·2024-03-08 21:49

大厂的数据质量中心系统设计

日常工作中，数据开发上线完一个任务后并不是就可以高枕无忧，时常因上游链路数据异常或者自身处理逻辑的BUG导致产出的数据结果不可信。而问题发现可经历较长周期（尤其离线场景），往往是业务方通过上层数据报表发现数据异常后push数据方去定位问题（对于一个较冷的报表，这个周期可能会更长）。由于数据加工链路较长，需借助数据血缘关系逐个任务排查，也会导致问题定位难度增大，严重影响开发效率。如数据问题未及时发现
·2024-02-20 23:45

构建高效可靠的数据血缘技术架构-文字解说

数据血缘分析可以帮助企业更好地了解数据的历史记录和变化过程，提高数据质量和决策的准确性。
shinelord明·2024-02-14 20:17

数据分析之数据预处理、分析建模、可视化

这些步骤是提高数据质量和适应数据分析软件或方法的重要环节
m1chiru·2024-02-14 00:26

半山里人：数字化时代下如何提升数据资产质量

文章来源公众号：半山里人，作者level原文链接：数字化时代下，如何提升数据资产质量笔者今天分享数据治理中常碰到的数据质量问题和改善方法。
半山里人·2024-02-14 00:53

【机器学习】数据清洗之处理缺失点

正确而有效地处理这些缺失值对于确保数据质量和模型的准确性至关重要。本文将深入探讨数据清洗中一项关
·2024-02-12 12:11

数据治理包括哪些内容

数据质量管理：保障数据品质
悦数图数据库·2024-02-11 20:38

CDMP（Data Governance）

特定的数据治理计划的范围和重点将取决于组织的需求，但大多数计划包括以下内容策略：定义、沟通并推动数据战略和数据治理战略的执行政策：制定和执行与数据和元数据管理、访问、使用、安全和质量相关的政策标准和质量：制定和执行数据质量和数据结构标准监督
冰菓_·2024-02-11 19:09

以终为始，依托度量指标，多种工具全面提升研发效能

置信度不足：数据质量和可信
·2024-02-11 17:57

梯度提升树系列8——GBDT与其他集成学习方法的比较

1.3AdaBoost1.4整体对比2.算法性能的比较分析2.1准确率与性能2.2训练时间和模型复杂度2.3应用实例和案例研究3.选择合适算法的标准3.1数据集的特性3.1.1数据规模与维度3.1.2数据质量
theskylife·2024-02-11 14:39

spss数据预处理步骤_2. SPSS基本使用：数据清洗

所以不用做这一步)，所以直接做第二步创建唯一IDimage.png这一步创建了唯一ID，点击转换按钮---计算变量-目标变量填写ID--选择函数$casenum点击确定就可以了image.png接下来我们要生成数据质量报告
嵇海龙·2024-02-10 14:18

数据探索与质量检查工具-OpenRefine

转换数据 OpenRefine是开源的数据质量检查工具，利用这个工具，快速筛选数据、清理数据、排重、分析时间维度上的分布与趋势等。
reco171·2024-02-09 09:59

MySQL数据库基础第三篇（约束）

对于数据库中的信息完整性和准确性的确保，以及对数据质量的提升，数据库中的约束起着至关重要的作用。
半夜敲代码的夜猫子·2024-02-09 06:23

数据分析之数据预处理、分析建模、可视化

数据预处理数据预处理是确保数据质量和分析准确性的基础。这一阶段包括：数据清洗：识别并处理缺失值、异常值和重复记录。这可能涉及到数据填充、平滑处理或数据删除。数据转换：将数据转换为适合分析的格式，如归一
Y T·2024-02-08 13:51

[高性能] - 缓存架构

因此需要对业务进行分级，还需要对数据按质量要求进行分类，主要包含两个维度：重要性，延时要求，数据质量。
don't_know·2024-02-08 08:34

【深度学习：自动化数据标签 】如何自动化数据标签 [示例 + 教程]

在泛化到新实例时，人工智能算法消耗的数据质量与其成功直接相关;这就是为什么数据专业人员在模型开发过程中花费80%的时间，确保数据得到适当的准备
jcfszxc·2024-02-08 02:19

数仓-数据质量体系建设

注：文章参考：数据仓库数据质量体系建设涤生推荐：未来的行业中，数据是企业的重要资产，而数据仓库则是对企业数据进行有效管理和利用的重要手段。
爱吃辣条byte·2024-02-07 08:26

细拆Python爬虫代码，建设自己的GPT助手！

如果数据质量高、覆盖面广、多样性强，训练出来的
我是雷老师·2024-02-07 08:20

人工智能：数据分析之数据预处理、分析模型与可视化

一、数据预处理的目的和关键步骤数据预处理是数据分析的第一步，它的目的是提高数据质量，确保分析结果的准确性。数据预处理的关键
白话Learning·2024-02-06 18:58

为什么传统数据中台搞不下去了

现在大厂又开始拆中台了，传统行业中很多企业花大价钱构建的数据中台要么是成为一个摆设一个玩具，要么就处于“IT疲于应付、业务极度不满、数据质量混乱、开发成本周期失控”的窘境。
Trident敏捷数据开发平台·2024-02-06 07:57

R语言量化投资（1）

而是关注如何收集数据，提高数据质量，来解决实际的业务问题。
Liam_ml·2024-02-05 20:41

今日arXiv最热NLP大模型论文：IBM研究院提出Genie方法，自动生成高质量数据集

但传统的数据集创建方法通常依赖人工，耗时耗力成本高，另外数据集的来源复杂，噪声大，比如新闻媒体稿或者社交媒体，数据质量难以保证。
夕小瑶·2024-02-04 16:35

从传统到现代:易点易动固定资产管理系统利用RFID技术高效管理固定资产

传统管理模式的不足传统的手工登记式管理模式在企业固定资产管理中存在很多问题:信息录入缺乏规范,数据质量难把控。无法实现全面覆盖和实时跟踪各项资产。盘点效率低下,存在漏工舞弊的风险。
doris6100·2024-02-04 16:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他