--------【数据仓库】

清晰的数据仓库ETL流程（有干货）

数据仓库ETL流程整体思路具体步骤1.工具2.流程3.小结总结整体思路要想开发一个完整的数据仓库etl流程必须先从整个项目的结构层次入手，逐个剖析每一层的程序，在纸上画出整个的流程图，剩下的就自然而然攻克了
超级酷乐猫·2022-11-23 16:21

数据库中表数据备份

目的在所有的数据仓库类项目中几乎都会涉及到数据库中表数据备份的操作，主要是为了对一些结果数据进行备份，防止误操作。
超级酷乐猫·2022-11-23 16:51

基于 Flink SQL 构建实数据仓库在 OPPO 的实战

本文整理自2019年4月13日在深圳举行的FlinkMeetup会议，分享嘉宾张俊，目前担任OPPO大数据平台研发负责人，也是ApacheFlinkcontributor。本文主要内容如下：OPPO实时数仓的演进思路；基于FlinkSQL的扩展工作；构建实时数仓的应用案例；未来工作的思考和展望。关注过往记忆大数据，并回复oppo获取本文ppt。一.OPPO实时数仓的演进思路1.1.OPPO业务与数
Hadoop技术博文·2022-11-23 11:16

CC00002.pbpositions——|Hadoop&PB级数仓.V02|——|PB数仓.v02|数仓概念|数据集市|

一、数据仓库###---[数仓理论]~~~[数据仓库：数仓概念]~~~[数据仓库：数仓特征]~~~[数据仓库与数据库的区别]~~~[数据仓库：数据集市]###---什么是数据仓库~~~1988年，为解决全企业集成问题
yanqi_vip·2022-11-23 10:24

【数仓】数据同步-数据仓库的数据来源之二

  数据仓库的数据最主要的来源有两个，一是前面讲过的日志采集，将前端埋点产生的log文件解析之后存入数据仓库。而今天要讲解是另外一部分数据——数据库数据同步。
和风与影·2022-11-23 10:21

为什么企业需要数据仓库？

对于第一次踏入数据仓库领域的同学来说，可能会想，为什么企业需要数据仓库。一、什么是数据仓库？
燃烧的七月·2022-11-23 10:15

数仓之数据集成

数据集成指的是将企业内所有具有分析价值的数据同步到数据仓库中做集成管理，所以基础功能是数据同步。
七月√·2022-11-23 10:14

数据仓库1-数仓的意义

在进行数据分析的时候，我们总会遇到一些名词，比如数据仓库。数据仓库是数据分析中一个比较重要的东西，数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合。
榛西·2022-11-23 10:43

近10年数据仓库演进之路，以及数据库学习建议

数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
running_elephant·2022-11-23 10:11

数据仓库系列一：数仓的前世今生

本篇从数据库引申到数据仓库，用一个生动形象的例子来介绍数据仓库的特性与必要性。了解数据底层可以帮助我们更好的去做数据相关工作，如果本篇文章能帮助到屏幕前困惑的你，会让我很开心。01什么是数据库？
赵小洛·2022-11-23 09:32

数仓|该如何理解数据仓库的建设

什么是数据仓库数据仓库,最早由比尔·恩门（BillInmon）于1990年提出,主要功能是将组织或企业里面的联机事务处理(OLTP)所累积的大量数据，透过数据仓库理论所特有的储存架构，进行系统的分析整理
csdn-延·2022-11-23 09:32

大数据项目之电商数仓-业务数据仓库

电商业务流程简介电商术语SKU，库存量单位，即库存进出计量的基本单元，可以是以件，盒，托盘等为单位。SKU这是对于大型连锁超市DC（配送中心）物流管理的一个必要的方法。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的SKU号。SPU，标准化产品单元。是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性。常用的表：订单表、订单详情表、商品表、用户表、
_TIM_·2022-11-23 09:28

数据仓库—数仓治理

本文目录数据治理统一流程参考模型为什么要治理DMBOK的数据治理框架数仓治理治理的分类数据源治理数仓模型治理数据服务治理上下游约定数仓评价(如何评价一个数据仓库的好坏)数据准确性时效性覆盖性建构层次清晰数据准确一致性能指标成本指标易用性指标需求响速度稳定性总结知识星球数据仓库系列文章
大数据技术派·2022-11-23 09:58

数仓 | 企业建数据仓库的必要性

作为数据整合及处理的核心──数据仓库，既承担着与保险核心系统及其他各个业务系统的数据ETL功能，又承担着整合数据、分析挖掘数据等重要的数据处理功能，在当下时效性要求越来越高、数据需求变化越来越快、数据容量越来越庞大的多变形式下
running_elephant·2022-11-23 09:22

信息科学前沿 计算机,计算机科学前沿热点及发展趋势.doc

文章系统地介绍了信息处理、文字与自然语言的理解、数据仓库和数据挖掘；知识科学；人工智能、人工神经网络的研究、遗传算法、逻辑学等领域研究中前沿的若干问题，并提出未来计算机科学的发展趋势。
蓝宝王·2022-11-23 06:56

计算机领域前沿热点研究方向,计算机科学前沿热点及发展趋势.pdf

文章系统地介绍了信息处理、文字与自然语言的理解、数据仓库和数据挖掘；知识科学；人工智能、人工神经网络的研究、遗传算法、逻辑学等领域研究中前沿的若干问题，并提出未来计算机科学的发展趋势。
肖琦琦·2022-11-23 06:26

干货解读｜数据挖掘最全整理

一、啤酒与尿布故事发生在20世纪90年代，总部位于美国阿肯色州的世界著名连锁超市沃尔玛（WalMart）拥有世界上最大的数据仓库系统。
九章云极DataCanvas·2022-11-23 05:59

数据仓库与数据挖掘归纳汇总

/*大学生一枚，只为分享知识别无他求，有兴趣一起交流，相互激励，共同进步关注个人微信公众号：飞享文中相应链接都是对应知识点补充说明*/数据仓库1.数据仓库：面向主题的，集成的，稳定的，反映历史变化的数据集合
享成·2022-11-23 01:48

数据仓库和BI的联系和管理目标

数据仓库（DataWarehouse，DW）由两个主要部分构成：存储各类业务主题数据的数据库，以及用于收集、清洗、转换、存储来自于各种操作型数据源和外部数据源数据的相关软件程序。
qingyunliushuiyu·2022-11-22 20:22

特征工程

数据集成的含义数据集成的方法1.联邦数据库2.中间件集成3.数据仓库什么是数据的特征？特征工程的动机与目标是什么？数据的特征特征工程的动机与目标特征选择的方法有哪些？它们的原理和实施步骤是什么？
Louis爱学习·2022-11-22 19:13

数据血缘分析-Python代码的智能解析

如果你的工作是从事数据挖掘、数据仓库建设或者信息系统开发/维护，有没有曾经遇到过如下的烦恼？
大数据技术架构·2022-11-22 16:41

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
微服务 spring cloud·2022-11-22 10:51

HashData助力企业构建数据分析新范式

面对日益增加的数据规模和数据类型多元化的发展趋势，企业数据分析复杂度不断提升，传统MPP数据仓库平台，在资源弹性、成本等方面已经很难适应企业业务需求。近日，HashDa
HashData酷克数据·2022-11-22 07:46

第八章 综合案例——构建DVD租赁商店数据仓库③

8.3.7加载演员数据至演员维度表1.打开Kettle工具打开Kettle工具，创建一个转换load_dim_actor，并添加表输入，插入/更新等控件。2.配置表输入控件双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。在SQL框中编写SQL语句，用于获取字段actor_last_update中的最大值，将该值替换为”1970-01-010
LUTyangmy·2022-11-22 03:03

构建DVD租赁商店数据仓库

本文将对数据库sakila中的数据进行清洗操作，从而构建一个DVD租赁商店数据仓库系统，即实现定期从源数据库sakila中抽取增量数据，转换成符合DVD租赁业务的数据，最后加载到目标数据仓库中。
长河落日圆_·2022-11-22 03:33

第八章 综合案例——构建DVD租赁商店数据仓库①

8.3.2加载日期数据至日期维度表1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_dim_date，并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线。2.配置"生成记录"控件双击“生成记录”控件，进入“生成记录”配置界面,在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年的日期（10*365）；在“字段”
LUTyangmy·2022-11-22 03:33

第八章 综合案例——构建DVD租赁商店数据仓库②

8.3.5加载用户数据至用户维度表1.打开Kettle工具打开Kettle工具，创建一个转换load_dim_customer，并添加表输入，映射（子转换），字段映射，值映射，维度查询/更新等控件。2.配置表输入控件双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。在SQL框中编写用于获取字段customer_last_update中的最大值
LUTyangmy·2022-11-22 03:33

第八章综合案例——构建DVD租赁商店数据仓库

8.3案例实现8.3.2加载日期数据至日期维度表1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_dim_date，并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线，具体如图1所示。图1创建转换2.配置生成记录控件双击“生成记录”控件，进入“生成记录”配置界面,在“限制”处添加生成的日期，默认为10，这里改为3650，即生成1
肥嘟嘟か·2022-11-22 02:27

第八章 综合案例——构建DVD租赁商店数据仓库（3）

一、加载演员数据至演员维度表操作介绍：通过Kettle工具加载演员数据至演员维度表dim_actor。1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_dim_actor，并添加表输入控件、插入/更新控件以及Hop跳连接线，具体如图所示。2.配置表输入控件双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL
Flipped.伟·2022-11-22 02:57

数据清洗黑马程序员 第八章综合案例——构建DVD租赁商店数据仓库——作业(3)

8.3.7加载演员数据至演员维度表1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_dim_actor，并添加表输入控件、插入/更新控件以及Hop跳连接线，具体如图所示：2.配置表输入控件双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图所示：在SQL框中编写SQL语句，用于获取字段
黄橙子^O^·2022-11-22 02:57

数据清洗黑马程序员 第八章综合案例——构建DVD租赁商店数据仓库——作业(4)

8.3.9加载租赁数据至租赁事实表1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_fact_rental，并添加表输入控件、字段选择控件、过滤记录控件、计算器控件、增加常量控件、数据库查询控件、维度查询/更新控件、插入/更新控件以及Hop跳连接线，如图所示:2.配置表输入控件双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【
黄橙子^O^·2022-11-22 02:57

综合案例——构建DVD租赁商店数据仓库

一.加载用户数据至用户维度表1.创建转换load_dim_customer，并添加表输入控件、映射控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线2.配置表输入控件（1）双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮（2）在SQL框中编写用于获取字段customer_last_update中的最大值，将该值替换为”197
qq_45807609·2022-11-22 02:26

第八章 综合案例——构建DVD租赁商店数据仓库（1）

一、加载日期数据至日期维度表操作介绍：下面通过Kettle工具加载日期数据至dim_date日期维度表。1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_dim_date，并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线，具体如图所示。2.配置生成记录控件双击“生成记录”控件，进入“生成记录”配置界面。在“限制”处添加生成的日
Flipped.伟·2022-11-22 02:26

第八章 综合案例——构建DVD租赁商店数据仓库（2）

一、加载用户数据至用户维度表操作介绍：通过Kettle工具加载用户数据至用户维度表dim_customer。1.打开Kettle工具，创建转换load_dim_customer使用Kettle工具，创建一个转换load_dim_customer，并添加表输入控件、映射控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线，具体如图所示。2.配置表输入控件双击“表输入”控件，进入“表输
Flipped.伟·2022-11-22 02:26

数据清洗黑马程序员 第八章综合案例——构建DVD租赁商店数据仓库——阅读笔记

8.3案例实现8.3.2加载日期数据至日期维度表1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_dim_date，并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线，具体如图1所示。图1创建转换2.配置生成记录控件双击“生成记录”控件，进入“生成记录”配置界面,在“限制”处添加生成的日期，默认为10，这里改为3650，即生成1
あㅉ·2022-11-22 02:21

数据清洗黑马程序员 第八章综合案例——构建DVD租赁商店数据仓库——阅读笔记(3)

8.3.7加载演员数据至演员维度表1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_dim_actor，并添加表输入控件、插入/更新控件以及Hop跳连接线，具体如图1所示：图1创建转换load_dim_actor2.配置表输入控件双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图2所
あㅉ·2022-11-22 02:21

数据清洗黑马程序员 第八章综合案例——构建DVD租赁商店数据仓库——阅读笔记(4)

8.3.9加载租赁数据至租赁事实表1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_fact_rental，并添加表输入控件、字段选择控件、过滤记录控件、计算器控件、增加常量控件、数据库查询控件、维度查询/更新控件、插入/更新控件以及Hop跳连接线，如图1所示:图1创建转换load_fact_rental2.配置表输入控件双击“表输入”控件，进入“表输入”配置界面，单击
あㅉ·2022-11-22 02:21

数据清洗黑马程序员 第八章综合案例——构建DVD租赁商店数据仓库——阅读笔记(2)

8.3.5加载用户数据至用户维度表1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_dim_customer，并添加表输入控件、映射控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线，具体如图1所示:tu1创建转换load_dim_customer2.配置表输入控件双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后
あㅉ·2022-11-22 02:51

Kettle：综合案例--构建DVD租赁商店数据仓库2

目录1.加载用户数据至用户维度表2.加载商店数据至商店维度表1.加载用户数据至用户维度表(1)创建转换使用Kettle工具，创建一个转换，并添加表输入控件、映射控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线，具体如图所示（2）配置表输入控件双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图
遇到困难睡大觉.·2022-11-22 02:18

第8章 综合案例—构建DVD租赁商店数据仓库

目录一.学习目标二.案例介绍2.1.案例背景介绍2.2.数据仓库的架构模型三.数据准备3.1.数据库sakila的下载和安装3.2.数据库sakila简介四.案例实现4.1加载日期数据至日期维度表4.2
CC-Betsy·2022-11-22 02:17

离线+实时数仓建设方案

大纲一、数仓基本概念1、数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。
000X000·2022-11-22 01:22

aryson ms sql_数据治理：SQL数据清洗十八般武艺

https://towardsdatascience.com/the-simple-yet-practical-data-cleaning-codes-ad27c4ce0a38而公司的业务数据一般存储在数据仓库里面
weixin_39950010·2022-11-21 18:06

Hive3入门至精通(基础、部署、理论、SQL、函数、运算以及性能优化)1-14章

运算以及性能优化)1-14章Hive3入门至精通(基础、部署、理论、SQL、函数、运算以及性能优化)1-14章Hive3入门至精通(基础、部署、理论、SQL、函数、运算以及性能优化)15-28章第1章:数据仓库基础理论
王亭_666·2022-11-21 18:25

yipin project 02

day02今日内容:1-数仓建模(理解)2-数仓分层架构(理解)3-数仓的工具的基本使用(掌握)4-业务数据的准备工作(参考笔记处理即可)1.数仓建模何为建模:如何在数据仓库中构建表,是一套用于规范化建表的理论常见的数仓建模理论
两面三刀流·2022-11-21 18:37

数据仓库dwd层，DWB层建设实战、Presto计算引擎，preview_220616，

方式一：拉链导入适合场景：增量及更新同步表表设计要求：start_date开始时间、end_date结束时间start_date表示数据有效的开始时间可以作为表的分区字段来使用end_date表示数据失效的时间，默认数据都是9999-99-99表示一直有效。当有更新的时候，通过拉链表操作修改end_date。典型代表：fact_shop_order订单表、fact_order_settle订单结算
啊六六六·2022-11-21 18:04

review第1遍,220614，Day03_数据仓库设计，md笔记，

知识点02：数据仓库概念、由来、特点数据仓库概念数据仓库，中文简称数仓。英文叫做DataWareHouse,简称DW。数据仓库是面向分析的集成化数据平台，分析的结果给企业提供决策支持。
啊六六六·2022-11-21 18:34

应用实践 | 特步集团基于 Apache Doris 的零售数据仓库项目实践

为了提高特步零售BI主题数据分析的准确性和时效性，降低对SAPHANA平台的依赖，2020年11月特步集团首次引入了ApacheDoris进行数据仓库搭建试点。
小晨说数据·2022-11-21 18:33

数仓之新零售项目

新零售项目1.新零售概述1.1行业背景1.2业务模块介绍1.3clouderamanager工具介绍1.4项目环境部署操作1.5数据仓库的基本概念2.维度分析2.1维度分析的基本介绍3.数仓建模3.1数仓建模概念
蝉43301·2022-11-21 18:29

Lakehouse系列 | StarRocks 支持 Apache Hudi 原理解析

作者：王日宇，StarRocksActiveContributor，阿里云高级研发工程师近年来，随着大数据分析技术的进步，大量业务场景对数据仓库的实时性提出了更高的要求，Lakehouse架构逐渐被各大公司熟悉和接受
StarRocks_labs·2022-11-21 09:09

成功的数据驱动型公司为什么会采用Data Mesh？

但尽管投入了时间、金钱和精力，数据仓库和数据湖在以当今组织的规模和速度应用时还是会失败，此时DataMesh或许是更好的选择。一、模式转变每隔一段时间，新的解决问题的方式就会出现并改变一切。
LinkTime_Cloud·2022-11-21 09:36
上一页 63 64 65 66 67 68 69 70 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他