数据整合

Kettle的安装以及简单使用

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据，ETL是BI（商业智能）项目重要的一个环节。
mynameisjinxiaokai·2023-01-26 05:38

银行数据仓库体系实践（8）--主数据模型设计

那下面以整合（主题）模型的设计步骤来进行介绍:整合（主题）模型层主要按主题进行数据整合，以第3范式为主进行表设计，
acumen_leo·2023-01-20 14:12

两种模式的数据服务解决方案

TurboDX应用]对于一个数据提供部门来说，通常的数据服务模式有几种：一是通过WebService等方式提供请求/响应式数据服务；二是通常前置机/前置库的方式将数据汇集在一起，由数据需求方自行去获取；三是通过数据整合后将数据发送到数据交换平台
数据交换 ANYWHERE·2023-01-19 05:02

数据挖掘二：数据整合

1数据整合根据关键字将数据集进行链接，并生成合适的变量放入整合的数据集。
你真的不能替我学吗·2023-01-17 10:21

主数据与参考数据的定义与相互联系

这是一篇有关数据管理方面的读书笔记，通过阅读DAMA数据管理知识体系，学习了我们在信息系统建设和系统数据整合过程中用到主数据和参考数据的相互关系，明确了两者的定义与异同点，使得我们了解到主数据和参考数据的重要性
一马平川的大草原·2023-01-17 07:21

集成底座平台和数据中台的关联分析

企业的信息化建设是伴随企业发展不断延伸、不断升级的过程，而随着信息化体量不断增大，建设的复杂度也在不断提升，业务系统间的集成与数据整合也越来越重要。
数通畅联·2023-01-12 19:26

电子表格软件给你灵活的数据查询体验！

所以在报表开发前的取数过程，把需要的数据整合成一个数据集合，可以理解为我们基于数据库获取我们需要的数据，也是数据分析师和最终业务用户进行交互分析前的准备步骤。
·2023-01-12 15:01

《R语言实战》读书笔记--第五章 高级数据管理

本章内容：数学和统计函数字符处理函数循环和条件执行自编函数数据整合与重塑5.1一个数据处理难题5.2数值和字符处理函数分为数值函数和字符串函数，下面是数学函数截图：ceiling、floor、trunc
weixin_34387468·2023-01-11 16:27

智能驾驶视觉传感器测试：自动驾驶车辆如何进行传感器标定？

一辆自动驾驶车辆会安装多个传感器，需要通过传感器标定来确定相互之间的坐标关系，从而将多个传感器数据整合为“一个传感器”。因此，准确的传感器标定是实现智能车辆多传感器感知和定位系统的先决条件。
软件测试小仙女·2023-01-10 15:58

机器视觉字符识别中的深度学习技术

纸张文件（如发票，发货单和其他记录）的扫描可以将其快速转换为数字格式，从中提取相关信息，并将这些数据整合到一个连续的电子信息流中。机器视觉使得可以基于印刷或冲压字符可靠地识别整个价值链中的工件和产品。
weixin_34184158·2023-01-08 06:01

首汽约车驶向极速统一之路！出行平台如何基于 StarRocks 构建实时数仓？

首汽约车还通过数据整合和智能科技陆续推出了学生用车、老人用车等产品来满足不同人群的出行需求。随着5G时
·2023-01-06 16:26

运维提效 60%，视野数科 SAE + Jenkins 打造云原生 DevOps

深度理解大型银行/金融机构/政府/企业集团等用户对于数据的需求，为客户呈现专业加工后的数据，提供企业/产业/财务数据整合、数据加工处理、数据中台、系统开发和大数据模型分析咨询服务的一整套解决方案。
Serverless 社区·2023-01-04 14:44

视野数科借助 SAE + Jenkins 打造云原生 DevOps，运维效率提升 60%

深度理解大型银行/金融机构/政府/企业集团等用户对于数据的需求，为客户呈现专业加工后的数据，提供企业/产业/财务数据整合、数据加工处理、数据中台、系统开发和大数据模型分析咨询服务的一整套解决方案。
阿里云云原生·2023-01-04 14:13

解析贷中管理的5大策略模块

贷中管理策略模块主要包括如下几类一、数据整合或调整客户工作、职务、地址、收入等的变更如果不能及时发现客户的这些条件影响或个人信息的变更，就无法识别数据是否已经过
金科应用研院·2023-01-04 05:53

怎么开发数字化供应链系统？数字化供应链系统有什么功能？

在数字贸易发展浪潮下，借助数字化工具接入线上业务，已经从企业品牌传播上的“锦上添花”变为必不可少的渠道转化手段，具体表现为线上线下全面融合和基于大数据、云计算、人工智能、区块链等信息技术的市场数据整合和资源配置能力的全面升级
开利网络·2022-12-30 18:49

python推导式深入讲解

python推导式是非常简洁高效的数据整合手段，功能强大且运行效率极高。本文将带你深入了解并掌握推导式，并将告诉你什么时候该用推导式什么时候不该用推导式。
皛心·2022-12-30 14:56

6个实用技巧，让你快速入门数据集成平台，成倍提升工作效率

数据集成是将这些独立的数据整合到一起，以产生更高的数据价值和更丰富的数据洞见的过程。
·2022-12-26 16:50

JSON格式的文件转csv

/usr/bin/envpython#coding=utf-8#先把数据整合到该目录下面的txt文件，然后
周末我要去钓鱼·2022-12-24 07:56

华为云大数据BI解决方案，助力企业实现数字化转型

然而现实是，仍然有许多企业正在经历数字化转型的“阵痛期”，如有限的数据整合能力、不足的需求快速响应能力
科技说·2022-12-23 11:04

利用Python整合多文件夹中数据表（excel\csv）到同一个表

原数据：有151个文件夹，每个文件夹有30个左右的csv表需求：把每个文件夹下面的数据表的第1行，第1-3列的数据整合写入一张新表因为文件夹下多个数据表中的第1行，第1-3列的数据都是一样的，就只需要随机选择其中
粥小九·2022-12-21 14:20

智能大数据平台实现大学教职工分析

任务二入职最多且教学单位教师占据主导3.3任务三职级分布3.4任务四教学单位职工占比分析3.5任务五教职工科研能力分析3.6任务六科研成果分析：职级占比4.归纳总结1.问题描述智能大数据平台的存在利于我们将数据整合处理
玻璃水的客观性·2022-12-21 13:11

Python数据分析基础——数据预处理方法笔记（持续更新）

python数据预处理方法目录一、数据探索1.1查看表总体信息1.2查看表细节信息二、数据清洗2.1重复值处理2.2缺失值处理2.3异常值处理2.4提取字符串2.5数据离散化2.6数据标准化2.7数据整合三
麦麦的辣翅·2022-12-16 14:28

Cytoscape网络可视化 | 以WGCNA结果的网络可视化为例

Cytoscape核心版提供了一套基本的数据整合、分析和可视化功能。额外的功能可作为应用程序（以前称为插件）。应用
木舟笔记·2022-12-14 19:15

数字孪生可视化研究方案

一、大规模的多源数据整合数字孪生的一个重要特点是多
数字孪生开发·2022-12-14 11:49

值得推荐的13款可视化软件，快收藏！

数据可视化力求用图表结合的方式把所有的数据整合在某一图像上，这样呈现在观众眼前的画面不仅仅是美观，且比以往长篇大论或是密密麻麻的数据表格更直观易懂，更便于观察分析。
久数君·2022-12-14 11:16

关于数据公共层建设

公共数据层定义统一化内部数据整合包括一致性的指标定义体系、模型设计方法和配套工具。通过这一体系，构建统一、规范、可共享的全域数据体系，避免数据冗余和重复建设，规避数据烟囱和不一致性。
数据驱动足迹·2022-12-13 20:25

R语言学习笔记——基础篇：第六章-基本图形

R语言R语言学习笔记——入门篇：第六章-基本图形文章目录R语言一、条形图1.1、垂直与水平条形图补——数据为因子时绘制垂直与水平条形图1.2、堆砌条形图与分组条形图1.3、数据整合条形图1.4、条形图的微调
福旺旺·2022-12-13 19:33

matlab数据整合

matlab数据整合一、读取数据1、load/importdata/csvread2、dlmread3、fscanf(底层函数)二、保存数据三、最终代码内容来源众多，故不一一挂出，本文章仅仅为自己记录学习内容
小白学习记录·2022-12-12 08:52

186页13万字智慧能源大数据分析平台建设方案

相关项目背景二、需求理解2.1需求理解三、方案设计3.1整体方案设计3.3.1整体架构3.3.2解决方案说明3.3.3需求应答3.2数据仓库3.2.1数据仓库架构3.2.2数据仓库产品说明3.2.3需求应答3.3数据整合与治理
数字化方案·2022-12-08 09:38

智慧水务 平台供水信息管控系统 城市供水SCADA一体化调度平台建设

智慧供水平台系统业务框架智慧水务平台系统构成智慧水务平台系统优势实时监测数据整合实时监测各环节监测数据，提升信息化水平，打破信息孤岛，共
平升电子DATA86·2022-12-07 12:28

ArcGIS_将多个点数据整合成一个点数据

问题描述：如何将多个点合并成一个点，并保留原始点数据的字段信息方案一：整合打开arcgis整合工具：“数据管理工具——要素类——整合”容差半径可以通过arcgis测量工具获取，根据自己的目标任务，选择合适的容差半径该方法优点在于整合后的点可以正好位于原始点数据的中心位置缺点在于容差半径需要不断尝试，且原始点数据可能距离间隔并不相同，边界部分比较凌乱方案二：渔网法①根据点数据创建渔网：“数据管理工具
xuquan0928·2022-12-07 09:36

机器学习与数据挖掘知识归纳（一）

数据源——（数据整合、准备）——整理过的数据——（数据选取与预处理）——准备好的数据——（数据挖掘）——模型——（模型评估）——专业知识1、数据准备、整合:了解KDD应用领域的有关情况，包括熟悉相关的背景知识
_TOS·2022-12-06 23:30

西瓜数据集4.0_Seurat 4.0 || 单细胞PBMC多模态参考数据集

前情回顾Seurat4.0||您的单细胞数据分析工具箱上新啦Seurat4.0||单细胞多模态数据整合算法WNNSeurat4.0||分析scRNA和膜蛋白数据Seurat4.0||WNN整合scRNA
weixin_39994627·2022-12-05 10:53

实用生物信息学2：多组学数据整合和挖掘

实用生物信息学2：多组学数据整合和挖掘本文部分/全部图片与文字来源网络或学术论文，仅供学习使用，持续修改完善中。
朝荣·2022-12-04 02:37

ETL工具(kettle)使用系列(五)-kettle调用restApi接口获取数据插入数据库-真实案例脱密处理

kettle脚本:下载地址https://download.csdn.net/download/qq122716072/13107872项目背景:某医院提供两个restapi接口,我们需要把两个接口的数据整合一下放到我们的数据库项目分析
GeekPlusA·2022-12-01 16:25

详谈数据同步工具ETL、ELT，反向ETL

数据同步工具的作用是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。数据同步是大数据项目重要的一个环节。
Nexadata·2022-12-01 14:09

数据中台和业务中台、大数据平台有什么区别？_光点科技

将企业全域海量、多源、异构的数据整合资产化，为业务前台提供数据资源和能力的支撑，以实现数据驱动的精细化运营。
光点数据治理·2022-12-01 10:47

【大数据之路】数据模型篇 《二》阿里巴巴数据整合及管理体系 【搬运小结】

文章目录数据模型篇《二》阿里巴巴数据整合及管理体系概述定位及价值体系架构规范定义名词术语指标体系1．基本原则1.1组成体系之间的关系1.2命名约定1.3算法2．操作细则2.1算法派生指标的种类模型设计指导理论模型层次数据模型篇
一阵暖风·2022-12-01 08:34

深度挖掘数据价值，华为云大数据BI解决方案驱动企业业务增长

时至今日，数据对于企业发展的重要性已经成为业界共识，各企业对于数字化转型也表现出了空前的热情，但随着数字化转型热潮的涌起，诸如需求响应慢、项目成本高、管理机制差、数据整合难等应用难题也随之浮现。
詹詹爱科技·2022-12-01 01:50

大数据之路读书笔记-09阿里巴巴数据整合及管理体系

大数据之路读书笔记-09阿里巴巴数据整合及管理体系面对爆炸式增长的数据，如何建设高效的数据模型和体系，对这些数据进行有序和有结构地分类组织和存储，避免重复建设和数据不一致性，保证数据的规范性，直是大数据系统建设不断追求的方向
潘小磊·2022-11-29 20:53

【阿里巴巴大数据实践笔记】第9章：阿里巴巴数据整合及管理体系

2.阿里巴巴OneDataOneData是阿里巴巴内部进行数据整合及管理的方法体系和工具。在这一体系下，构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性。
weixin_30681121·2022-11-29 19:20

学习笔记-大数据之路-数据模型篇-数据整合及管理体系-规范定义

第9章阿里巴巴数据整合及管理体系  数据模型：如何构建优良的模型，如何优化模型出现的问题  体系：包含数据模型、分层、主题划分、数据治理、元数据管理、可视化等等9.1，概述  阿里大数据建设方法论核心：
dyson不只是吹风机·2022-11-29 19:47

【大数据之路】第9章阿里巴巴数据整合及管理体系

9.2规范定义名词术语数据域：面向业务分析。既能涵盖目前所有的业务需求，又能在新业务进入时不影响的进入到已有的数据域或扩展新的数据域。业务过程：注意不可拆分的行为事件，例如下单、支付、浏览等。就是企业活动中的事件。修饰类型：修饰词的概括。例如订单中的支付方式、日志域中的访问终端类型等。派生指标：等于原子指标+一个或者多个修饰词+时间周期。派生指标唯一归属一个原子指标。派生指标可以分为三类：-事务型
GO_BY_GO_BY_GO·2022-11-29 19:47

学习笔记-大数据之路-数据模型篇-数据整合及管理体系-模型设计

9.3，模型设计9.3.1，指导理论维度建模为基础，构建一致性的维度和事实9.3.2，模型层次三层结构操作数据层（ODS）公共维度模型层（CDM）应用数据层（ADS）其中CDM包括明细数据层（DWD）和汇总数据层（DWS）各层详细说明ODS层：业务数据和日志数据等需要存储分析的数据无处理地存放在数据仓库系统中；CDM层：存放明细事实数据、维表数据及公共指标汇总数据。其中明细事实数据、维表数据一般根
dyson不只是吹风机·2022-11-29 19:16

学习笔记-大数据之路-数据模型篇-数据整合及管理体系-模型实施

9.4，模型实施9.4.1，业界常用的模型Kimball和Inmon模型9.4.2，OneData实施过程指导方针数仓建设时，需要充分进行业务调研（自下而上）和需求分析（自上而下）。使用OneData工具完成指标规范定义和模型设计。实施工作流（1）数据调研业务调研业务领域：在阿里如电商、数字娱乐、导航、移动互联网等业务领域包含业务线：如电商领域涵盖ToC（淘宝、天猫、天猫国际）和ToB（阿里巴巴中
dyson不只是吹风机·2022-11-29 19:16

《大数据之路：阿里巴巴大数据实践》-第3篇 数据管理篇 -第14章 存储和成本管理

阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述 第9章阿里巴巴数据整合及管理体系
九层之台起于累土·2022-11-29 19:45

《大数据之路：阿里巴巴大数据实践》-第3篇 数据管理篇 -第15章 数据质量

阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述 第9章阿里巴巴数据整合及管理体系
九层之台起于累土·2022-11-29 19:45

《大数据之路：阿里巴巴大数据实践》-第4篇 数据应用篇 -第16章 数据应用

阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述 第9章阿里巴巴数据整合及管理体系
九层之台起于累土·2022-11-29 19:45

《大数据之路：阿里巴巴大数据实践》-第2篇 数据模型篇 -第9章 阿里巴巴数据整合及管理体系

阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述 第9章阿里巴巴数据整合及管理体系
九层之台起于累土·2022-11-29 19:15

《大数据之路：阿里巴巴大数据实践》-第3篇 数据管理篇 -第12章 元数据

阿里巴巴大数据实践》系列丛书 第1章总述第1篇数据技术篇 第2章日志釆集 第3章数据同步 第4章离线数据开发 第5章实时技术 第6章数据服务 第7章数据挖掘第2篇数据模型篇 第8章大数据领域建模综述 第9章阿里巴巴数据整合及管理体系
九层之台起于累土·2022-11-29 19:15
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他