#数据集成

如何一个模型走天下？集成训练多数据集，打造通用目标检测模型方法详解

但目前常用的目标检测数据集中包含的类别数量有限，使用单个数据集训练的目标检测模型已经不能满足需求，如何集成训练多个数据集成为了一大热门研究方向。
OpenDataLab·2022-11-11 11:15

深度解析字节跳动开源数据集成引擎 BitSail

动手点关注干货不迷路1.导读BitSail是字节跳动开源数据集成引擎，支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下全域数据集成解决方案，目前支撑了字节内部和火山引擎多个客户的数据集成需求
字节跳动技术团队·2022-11-07 10:39

数学建模冲刺篇（数据预处理）

数据预处理一、数据清理（缺失值、异常值、无关值、噪音、重复值）1.缺失值2.异常值3.无关值4.噪音5.重复值二、数据集成三、数据变换和数据规约数据进行预处理，一般分为四个步骤：数据清理、数据集成、数据变换
晨沉宸辰·2022-11-06 09:51

数学建模笔记（三）：数据预处理

、数据预处理案例及代码实现3.1线性变换-代码实现3.2向量规范化-代码实现3.3min-max归一化-代码实现3.4z-score标准化-代码实现总结参考资料前言数据预处理主要有四个任务：数据清洗、数据集成
Yangtze20·2022-11-06 09:18

盘点2021年大数据分析常见的5大难点！

在这种情况下，可以进行数据审核，并确保现有数据集成提供所需的见解。新数据源的集成也可以消除数据的缺乏。还需要检查原始数据是如何进入系统的，并确保所有可能的维度和指标均已经公开
yuyuyuyo·2022-11-03 15:53

数据挖掘——第三章：数据预处理

文章目录1.数据存在的问题1.1原始数据存在的问题1.2数据质量要求1.3预处理主要任务2.数据清洗2.1空缺值处理2.2噪声处理3.数据集成3.1集成过程中涉及的实体识别3.2冗余问题3.3检测冗余方法
平什么阿·2022-11-02 15:05

【数据挖掘】数据预处理

数据预处理是数据挖掘过程中的第一个步骤，主要有数据清洗、数据集成、数据归约和数据变换等方式。一、数据预处理的必要性数据的质量决定了数据挖掘的效果。
快乐小虎鲸biubiu·2022-11-02 15:28

Hadoop大数据实战笔记

Hadoop的生态圈组成为：数据存储、数据集成、数据处理和其他进行数据分析的专门工具。HDFS：HDFS是一种数据保存机制，数据被保存在集群
Popuessing's Jersey·2022-11-02 11:26

字节跳动开源BitSail，助力企业走好数字化“第一步”

10月26日，字节跳动宣布开源BitSail数据集成引擎。
CSDN资讯·2022-11-01 09:11

数据挖掘常用算法总结

知识发现的过程包含了数据清洗,数据集成,数据选择,数据转换,数据挖掘,模式评估和知识表现。数据挖掘功能:特征,区别,关联,分类,聚类,孤立点和趋势分析等.(3)数据挖掘系
小北呱·2022-10-29 07:39

【Python】DataFrame学习02_聚合与分组、透视表、大数据预处理技术

本人依据上课学习内容，将dataframe内容浓缩为代码块，一下是今天学习的第二部分:1.dataframe聚合函数与分组2.dataframe透视表数据预处理技术：3.数据集成（合并）4.数据清洗5.
Amakusa_·2022-10-25 11:16

【Python数据分析】数据预处理2——数据集成

数据挖掘需要的数据往往分布在不同的数据源中，数据集成就是将多个数据源合并存放在一个一致的数据存储位置（如数据仓库）中的过程。
阿丢是丢心心·2022-10-24 07:16

【Python数据分析】数据预处理1——数据清洗

在数据挖掘过程中，数据预处理过程是占比很大的一部分工作数据预处理过程主要有以下几个部分1、数据清洗——2.数据集成——3.数据变换——4.数据规约本文介绍数据清洗部分一、缺失值分析与处理1.缺失值分析缺失值的影响
阿丢是丢心心·2022-10-24 07:46

MES是生产成功的因素

MES可以为企业提供包括制造数据管理、计划排程管理、生产调度管理、库存管理、质量管理、人力资源管理、工作中心/设备管理、工具工装管理、采购管理、成本管理、项目看板管理、生产过程控制、底层数据集成分析、上层数据集成分解等管理模块
云长歌·2022-10-19 10:18

python预处理是先标准化数据还是先处理分类特征_数据预处理-数据集成与数据变换...

2.数据集成：主要是将多个数
weixin_39564831·2022-10-18 14:03

无需编码 9款优秀的数据地图可视化工具平台

数据地图可视化是可视化决策系统中的关键，往往将地图要素、业务管理、物联网感知、视频监控等多种数据集成，并且进行高度融合和挖掘分析，构建智能化管理相关应用，帮助用户对
·2022-10-14 11:03

大数据采集技术工具及应用场景

大数据采集可以细分为数据抽取、数据清洗、数据集成、数据转换等过程，将分散、零乱、不统一的数据整合到一起，以一种结构化、可分析的形态加载到数据仓库中，从而为后续的数据使用奠定坚实基础。
梯度科技·2022-10-13 15:02

Spring-IOC知识点整理

是分层的JavaSE/EE应用full-stack轻量级开源框架Spring体系结构底层是核心容器BeansCoreContextSpringEL表达式中间层技术AOPAspects应用层技术数据访问与数据集成
嘎啦给给·2022-10-12 12:11

大数据可视化技术

数据可视化的标准实用性完整性真实性艺术性交互性数据可视化流程数据采集数据预处理：数据质量、数据清洗、数据集成数据可视化映射用户感知数据可视化的作用数据表达：是通过计算机图形技术来更加友好地显示数据信息，
@从心·2022-10-12 07:27

RocketMQ DLedger架构在小米的大规模实践

其中数据业务包括日志流的计算、分析场景以及数据集成场景，一般使用内部自研的消息队列Talos。
·2022-10-10 15:00

河北工业大学数据挖掘实验一 数据预处理

河北工业大学数据挖掘实验一数据预处理一、实验目的二、实验原理1、数据预处理2、数据清理3、数据集成4、数据变换5、数据归约三、实验内容和步骤1、实验内容2、实验步骤3、程序框图4、实验样本5、实验代码四
Ace2NoU·2022-10-10 07:05

开源直播课丨大数据集成框架ChunJun类加载器隔离方案探索及实践

本期我们带大家回顾一下无倦同学的直播分享《ChunJun类加载器隔离》，ChunJun类加载器隔离的方案是我们近期探索的一个新方案，这个方案目前还不是非常成熟，希望能借由此次分享与大家一起探讨下这方案，如果大家有一些新的想法欢迎大家在github上给我提issue或者pr。一、Java类加载器解决类冲突基本思想在学习方案之前，首先为大家介绍一下Java类加载器解决类冲突的基本思想。01什么是Cla
·2022-10-09 17:28

Apache Hudi技术与架构-1

1前言ApacheHudi是大数据领域中新一代的基于流式计算的数据存储平台，又称之为数据湖平台（DataLakePlatform），其综合传统的数据库与数据仓库的核心功能，提供多样化的数据集成、数据处理以及数据存储的平台能力
uesowys·2022-10-08 08:27

Apache Kafka技术与架构-1

1前言ApacheKafka是目前最流行的、开源的、分布式的、流式消息或者事件处理软件系统，其主要用于大规模的数据采集、数据集成、数据处理、数据存储以及数据分析领域，其具备的关键特性包括高性能、低延迟、
uesowys·2022-10-08 08:56

数据探索（数据集成、数据变换、数据规约）③—Python对数据规范化、数据离散化、属性构造、主成分分析 降维

Python介绍、Unix&Linux&Window&Mac平台安装更新Python3及VSCode下Python环境配置配置python基础知识及数据分析工具安装及简单使用(Numpy/Scipy/Matplotlib/Pandas/StatsModels/Scikit-Learn/Keras/Gensim))数据探索（数据清洗）①——数据质量分析（对数据中的缺失值、异常值和一致性进行分析）数据
eeenkidu·2022-10-03 15:46

数据预处理(六)——数据变换与离散化

主要内容：数据预处理的必要性数据清洗数据集成数据标准化数据规约数据变换与离散化利用sklearn进行数据预处理小结六、数据变换与离散化在数据预处理过程中，不同的数据适合不同的数据挖掘算法。
shi_jiaye·2022-10-03 15:16

数据仓库系列7-ETL 子系统与技术

文章目录一.需求综合1.1业务需求1.2合规性1.3数据质量1.4安全性1.5数据集成1.6数据延迟1.7归档与世系1.8Bl发布接口1.9可用的技能1.10传统的许可证书二.ETL的34个子系统三.获取
只是甲·2022-10-03 07:54

第14章 数据仓库与数据挖掘

数据仓库技术所解决的问题是如何更合理和更有效地组织企业的数据体系，以更好地满足企业信息型应用对数据的要求,降低企业的数据管理、数据获取和数据集成的成本,提高数据系统响应速度，提高数据质量和数据的一致性。
修罗神天道·2022-10-03 07:59

计算机三级数据库数据仓库与数据挖掘（一）、快照方式、元数据、数据仓库中数据特征、机器学习、聚类方法、分类算法、决策支持系统、表数据的粒度级、分布式数据库、

1.在建立数据仓库的数据集成工作中，需要采用适当的策略从数据源获取变化数据。
Redamancy_06·2022-10-03 07:04

独家 | ARIMA/Sarima与LSTM的时间序列数据集成学习（附链接）

本文探讨了简单的ARIMA/Sarima与LSTM的时间序列数据集成学习方面的问题。
数据派THU·2022-09-24 07:57

2022年7月16日CDGA/CDGP数据治理认证考试成绩出来啦！

我们特意给大家准备了各大重点知识模块——CDGA核心章节——1.数据管理基础2.数据处处理伦理3.数据治理4.数据架构5.数据建模和设计6.数据建模和设计7.数据安全8.数据集成和互操作9.文件和
hb15302782362·2022-09-22 19:31

开源直播课丨高效稳定易用的数据集成框架——ChunJun类加载原理与实现

一、直播介绍前几期，我们为大家分享了ChunJun的数据还原、Hive事务表及传输模块的一些内容，本期我们为大家分享ChunJun类加载原理与实现。本次直播我们将从Java类加载器解决类冲突基本思想、Flink类加载器隔离的方案、ChunJun如何实现类加载器隔离及问题排查等方面为大家进行介绍，通过本次分享，希望大家能对类加载相关内容有更进一步的了解。二、直播主题ChunJun类加载原理与实现三、
·2022-09-20 20:54

ChunJun&OceanBase联合方案首次发布：构建一体化数据集成方案

8月27日，ChunJun社区与OceanBase社区联合组织的开源线下Meetup成功举办，会上重磅发布了「OceanBase&ChunJun：构建一体化数据集成方案」。
·2022-09-16 12:07

数据库发展史2--数据仓库

回顾数据仓库的发展历程，大致可以将其分为几个阶段：萌芽探索到全企业集成时代、企业数据集成时代、混乱时代--"数据仓库之父"间的论战、理论模型确认时代以及数据仓库产品百家争鸣时代。
·2022-09-16 11:01

【场景化解决方案】搭建数据桥梁，Dslink打通泛微系统连接流

方案简介行翼云Dslink低代码数据连接流+钉钉专业版OA解决方案，通过“积木式”可视化配置，实现专业版OA审批数据流快速同步泛微e9系统，在OA审批表单完成考勤管理等功能，数据高效同步泛微后台，为企业的人事系统数据集成连接提供连接
钉钉开发者社区·2022-09-05 19:24

【场景化解决方案】OA审批与用友U9数据集成

方案简介行翼云Dslink低代码数据连接流，深度融合钉钉专业版OA审批功能，通过无代码\低代码可视化配置，实现OA审批与用友U9的数据交互，在钉钉OA审批后台完成请款确认单等功能，为企业内外部的应用集成连接做数据支撑，为企业实现开源节流、降本增效。方案场景企业财务在财务系统上进行请款确认等操作时，传统的工作流程比较笨重，需要人工对数据进行转移和记录，其主要原因是，不同系统软件间的数据无法交互，形成
钉钉开发者社区·2022-09-05 19:23

Python数据分析与挖掘进阶篇3——数据的预处理（清洗、集成、变换）附实例！

阅读提示本文主要介绍数据分析与挖掘中的数据预处理知识点：包括各类数据缺失值填充、数据类型转换、函数值转换、贝叶斯插值法等目录阅读提示四、数据的预处理1、数据清洗2、数据集成3、数据变换四、数据的预处理在数据挖掘中
高羊羊羊羊羊杨·2022-09-02 10:41

万物皆可集成系列：低代码对接企企云实现数据集成

企企云作为一款成熟的企业云服务，拥有很多的用户，本文详细介绍一下，使用活字格低代码平台，如何与企企云实现数据集成。确认接入方式企企云是一个云平台，数据的集成不能像一些本地业务系统一样直
·2022-09-01 17:17

全链路数据治理实操演练营，互联网、金融、制造等行业都适用！

简介：全链路数据治理-全域数据集成训练营已上线！大数据开发治理平台DataWorks推出多个大数据训练营（持续更新中），全域数据集成训练营可完成多种数据源、多种网络环境下的离线同步与实时同步。
阿里云开发者·2022-08-30 22:26

Seatunnel超高性能分布式数据集成平台使用体会

有Sqoop和DataX之类数据处理为何还要用ApacheSeaTunnel，这就要得益于ApacheSeaTunnel依赖Flink和Spark天然分布式处理数据的特性，前两者是单机同步数据不适于海量数据同步，以低代码方式用配置文件就可以启动Flink数据处理应用，本篇从基本概念和原理入手，并通过部署SeaTunnel演示了多个基于Flink的Source和Sink配置，基本掌握如何编写配置使用
itxiaoshen·2022-08-27 00:00

开源交流丨批流一体数据集成框架ChunJun数据传输模块详解分享

课件获取：关注公众号“ChunJun”，后台私信“课件”获得直播课件视频回放：点击这里ChunJun开源项目地址：github丨gitee喜欢我们的项目给我们点个__STAR！STAR！！STAR！！！（重要的事情说三遍）__技术交流钉钉qun：30537511本期我们带大家回顾一下六六同学的直播分享《ChunJun数据传输模块介绍》。一、ChunJun数据类型转换1、类型转换解决的问题大家一听到
·2022-08-24 11:28

数据集成-5-批数据集成

批数据集成1.批数据集成简介1.1.批数据集成批数据集成静态数据集数据被组织成"批"地（时间窗口）周期性的迁移到另一个系统（专门的数据端）抽取、转换、集成为通用数据格式持久化集成数据应用数据仓库数据分析等数据服务应用
SpriCoder·2022-08-24 07:09

全链路数据治理实操演练营，互联网、金融、制造等行业都适用！

简介：全链路数据治理-全域数据集成训练营已上线！大数据开发治理平台DataWorks推出多个大数据训练营（持续更新中），全域数据集成训练营可完成多种数据源、多种网络环境下的离线同步与实时同步。
·2022-08-23 17:47

数据集成工具的使用（五）---Kettle 从理论学习到熟练使用

往期好文推荐：数据集成工具的使用（一）—Sqoop从理论学习到熟练使用数据集成工具的使用（二）—DataX从理论学习到熟练使用数据集成工具的使用（三）—F
北慕辰·2022-08-21 12:35

全链路数据治理实操演练营，互联网、金融、制造等行业都适用！

简介：全链路数据治理-全域数据集成训练营已上线！大数据开发治理平台DataWorks推出多个大数据训练营（持续更新中），全域数据集成训练营可完成多种数据源、多种网络环境下的离线同步与实时同步。
·2022-08-19 12:53

Ding！您有一份ChunJun实用指南，请查收

ChunJun是易用、稳定、高效的批流一体的数据集成框架，主要应用于大数据开发平台的数据同步/数据集成模块，使大数据开发人员可简洁、快速的完成数据同步任务开发，供企业数据业务使用。
·2022-08-19 12:20

全新物联网数据集成 ：Flow 可视化编排 & 双向数据桥接

引言：全新的数据集成能力为物联网平台与应用提供高性能的实时数据处理与集成，一直是EMQX最重要的能力之一。
·2022-08-18 15:51

EMQX Cloud更新：数据集成新增 HStreamDB & Tablestore

其中，基于原有高性能内置规则引擎优化升级的「数据集成」模块，为用户配置处理及响应消息流与设备事件规则提供了一个清晰灵活的「可配置」架构解决方案，支持包括Kafka、MySQL、Redis、Webhook
·2022-08-16 15:08

Hi，我是ChunJun，一个有趣好用的开源项目

批流一体的数据集成框架ChunJun，沉淀了团队六年来在数据同步和集成方面的实践经验，秉承易用、稳定、高效的目标，满足更多用户对新型数据集成管理需求的响应。Chun
·2022-08-15 18:03

HStreamDB v0.9 发布：分区模型扩展，支持与外部系统集成

v0.9主要有以下亮点更新：stream分区模型扩展，支持用户直接访问分区上指定位置的数据；新增HStreamDB的内部数据集成框架HStreamIO；集群转用基于SWIM的成员发现和故障检测机制；全新的流处理引擎
·2022-08-08 18:40
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他