etl+数据仓库

Flink系列之Flink的应用场景（一）

ApacheFlinkisaframeworkanddistributedprocessingengineforstatefulcomputationsoverunboundedandboundeddatastreamsDT时代，人们对于数据的要求越来越严格，从开始的大数据到现在慢慢转变成快数据，我们很多公司都是基于Hadoop生态搭建自己的数据仓库
当_下·2023-10-10 11:23

Python操作Hive数据仓库

2、Python连接Hive数据仓库1、Python如何连接Hive？
对许·2023-10-10 11:32

Hive面试常见基础问题

答：Hive是一个开源的数据仓库工具，用于处理和分析大规模结构化数据。它能够创建、修改和查询表结构，支持多种数据类型和查询操作，同时提供数据汇总和数据查询的功能。Hive和MySQL有什么不同？
饭九钦vlog·2023-10-10 10:24

spark sql如何行转列

在数据仓库中，行转列通常称为”变形”(Pivoting)或“透视”(Pivoting)，可使用SparkSQL的pivot语句实现。
大模型大数据攻城狮·2023-10-10 06:04

商业数据的获取与清洗

目录分析需求的数据化数据描述内部数据外部数据逻辑描述表态数据动态数据数据词典数据源前期准备PowerBI获取外部数据方法一：直接抓取表格数据方法二：使用示例抓取数据方法三：抓取JSON格式方法四：批量抓取数据MySQL内部获取可视化连接软件NAVICAT数据库与数据仓库数据库数据仓库举例数据的导入导入
熬不了夜哇·2023-10-09 21:22

中国移动对大数据分析需求猛增 成转型必备工具

北京时间5月14日早间消息（张月红）中国移动业务支撑系统部信息管理处处长陶涛，多年来一直在中国移动公司总部工作，负责数据仓库系统的建设。
cigang4063·2023-10-09 18:21

深度解析数据湖存储方案Lakehouse架构

简介：从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。
阿里云云栖号·2023-10-09 08:33

2023.4.14 CSDN数开实习面试

4.14CSDN数开实习面试(20min)1.自我介绍2.你是潮汕人，知道我们公司在哪嘛，为何不在广州深圳找，找这个工作是出于岗位还是城市3.项目数据量4.数据库与数据仓库的区别5.知道scd嘛(反复确认了一下没听错
wang_jun_xin·2023-10-09 06:45

阶段项目总结

通过对互联网的舆论信息进行采集和分析，可以满足用户对网络舆情的检测和热点的追踪项目价值实现了从互联网上采集海量的数据，基于这个海量的数据，以及用户定制的主题，进行数据分析提供了热点发现，数据走势技术栈数据端：离线部分数据仓库的构建离线统计分析实时统计分析技术栈
The_Boy_le·2023-10-09 05:32

hive初识

数据仓库：DataWarehouse简写为DW数据仓库面向分析（大而全、准确性）：是面向主题、集成、不可修改、反映历史变化用于数据分析，辅助管理决策数据库面向事务（一致性、时效性）为什么分区？
The_Boy_le·2023-10-09 05:02

数据仓库——分层原理

目录一、什么是数据仓库二、数仓建模的意义，为什么要对数据仓库分层？
纠结安然猿·2023-10-08 23:05

数据分析与建模挖掘- 数据获取

在这里插入图片描述数据获取手段数据仓库检测与抓取填写日志埋点计算数据仓库分析仅靠运行的数据库无法完成数据更改减少冗余需要把用户的操作过程如实记录并长期保留将所有业务数据经汇总处理构成数据仓库(DW)全部事实记录
志䦀zy·2023-10-08 14:36

从小纸条到大软件：足球科技进化史（一）

回想起来，数据仓库的概念也不过才诞生在90年代初期由BillInmon（数据仓库之父）提出。在足球领域用数据来作为决策
weixin_30836759·2023-10-08 12:36

基于Springboot的党员信息管理系统毕业设计源码161528

摘要由于数据库和数据仓库技术的快速发展，学校党员信息系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
weixin_61498557·2023-10-07 21:39

数仓的DW、ODS、DM概念及其区别

ODS层ODS(OperationalDataStore)操作性数据，是作为数据库到数据仓库的一种过渡，ODS的数据结构一般与数据来源保持一致，便于减少ETL的工作复杂性，而且ODS的数据周期一般比较短
焱行软件科技计算机毕设·2023-10-07 13:14

MYSQL基础（DDL,DML,DQL）

SQL优点1、简单易学，具有很强的操作性2、绝大多数重要的数据库管理系统均支持SQL3、高度非过程化；用SQL操作数据库时大部分的工作由DBMS自动完成1.数据库概念：数据仓库，软件，安装在操作系统之上作用
搁浅 L·2023-10-07 10:01

大数据学习，涉及哪些技术？

数据仓库：如AmazonRedshift
金木讲编程·2023-10-07 08:14

Python数据攻略-SQL和Mongodb的CRUD方法汇总

数据仓库是现代企业和个人项目中不可或缺的一部分。它们不仅存储了大量的数据，而且提供了查询和更新这些数据的方法。
Mr数据杨·2023-10-07 05:05

hive 修改cluster by算法_Hive入门实战（二）DDL数据定义

一、数据仓库--DDL数据定义1、创建数据库（1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。
weixin_39879651·2023-10-06 22:42

系统集成|第三章(笔记)

信息系统建设3.1.1信息系统3.1.2信息系统集成3.2信息系统设计3.3软件工程3.4面向对象系统分析与设计3.5软件架构3.5.1软件的架构模式3.5.2软件中间件3.6典型应用集成技术3.6.1数据库与数据仓库技术
多加点辣也没关系·2023-10-06 11:14

大数据项目之电商数仓（3电商数据仓库系统）V6.1.3

第1章数仓分层1.1为什么要分层1.2数据集市与数据仓库概念1.3数仓命名规范1.3.1表命名ODS层命名为ods_表名DWD层命名为dwd_dim/fact_表名DWS层命名为dws_表名DWT
okbin1991·2023-10-06 00:19

数据仓库规范全解

正文开始这是数据仓库系列的第三个话题，排序在架构之后、建模之前。为什么会提的这么靠前呢？因为规范约束的是数仓建设的全流程，以及后续的迭代和运维。
程序员的隐秘角落·2023-10-05 09:13

数据仓库建模理论——总结

四种模型：ER模型维度模型DataVault模型Anthor模型以上四种模型，当前最流行建模方法为：ER模型、维度模型ER模型ER模型常用于OLTP数据库建模，应用到构建数仓时更偏重数据整合，站在企业整体考虑，将各个系统的数据按相关性一致性、合并梳理，为数据分析、决策服务，但并不便于直接用来支持分析。ER模型的问题：需要全面梳理企业所有的业务和数据流。实施周期长对建模人员要求高维度模型唯独见面是面
尼小摩·2023-10-05 08:50

【软考】4.4 数据库技术/SQL语言

转储和用户事务可并发执行；可秒级修复；禁止出错，备份不成功，结果几乎无效《分布式数据库》即局部数据库位于不同物理位置，使用一个全局DBMS将所有局部数据库联网管理；逻辑上是一个整体集中式数据库：所有数据库集中在同一个地方《数据仓库技术
一殊酒·2023-10-04 17:04

AWS概述

你可以畅享200多种服务，从数据仓库到部署工具，从目录到内容分发。无需前期昂贵的资金投入，你就可以快速提供新服务。
还是转转·2023-10-04 10:12

阿里云数据库大全_3分钟看懂阿里云RDS和NoSQL数据库汇总

阿里云数据库大全：RDS关系型数据库如MySQL版、PolarDB、PostgreSQL、SQLServer和MariaDB等，NoSQL数据库如Redis、Tair、Lindorm和MongoDB，数据仓库如
腮帮子疼·2023-10-03 19:16

数据仓库中的ER实体模型和维度模型

一、数据仓库建模的意义一个公司中会有多个业务业务系统，比如：OA系统、订单系统、财务系统、人事系统、仓储系统等，因此需要按照一定的组织结构将所有数据都整合起来，形成一个仓储平台。
剁椒鱼不要头·2023-10-03 16:11

spark-sql调优技巧

sparkSQL概述sparkSQL的前世今生==Shark是专门针对于spark的构建大规模数据仓库系统的一个框架==Shark与Hive兼容、同时也依赖于Spark版本Hivesql底层把sql解析成了
柱子z·2023-10-03 03:21

深入解析数据仓库中的缓慢变化维

前言最近公司在招聘数仓开发，笔者负责技术方面的一些问题，缓慢变化维自然是是不可缺少的环节。但出乎笔者预料的是，所有的面试者都没有完整了解缓慢变化维的前因后果及处理方式，大都是通过“野路子”碰运气实现几种简单通用的变化方式，甚至有人声称缓慢变化维就是拉链表。因此，笔者将基于kimball的数仓理论和自身对其的理解，对缓慢变化维进行全面且深入的介绍。什么是缓慢变化维？要解释缓慢变化维，必须先解释什么是
秋夜雨凉·2023-10-02 23:01

数据湖 vs 数据仓库

可以作机器学习使用-数据仓库里的数据都是经过处理的后存储起来的结构化数据，是有特定使用目的的，可以为业务人员提供查询（多维度），为业务任务的决策提供支
Bitson·2023-10-02 16:13

阿里云数据库大全_优惠活动_云数据库排行榜

阿里云数据库大全：RDS关系型数据库如MySQL版、PolarDB、PostgreSQL、SQLServer和MariaDB等，NoSQL数据库如Redis、Tair、Lindorm和MongoDB，数据仓库如
aliyunbaike·2023-10-02 15:55

mysql从零基础到基础熟练

本文使用软件为：Mysql版本8.0.29，NavicatPreMium15第一章mysql介绍1.1什么是数据库数据库：数据的仓库，database简称DB介质：硬盘和内存，数据仓库的位置sql：用来和数据库
Summer152191·2023-10-02 05:08

软件设计师_数据库系统_学习笔记

文章目录3.1数据库模式3.1.1三级模式两级映射3.1.2数据库设计过程3.2ER模型3.3关系代数与元组演算3.4规范化理论3.5并发控制3.6数据库完整性约束3.7分布式数据库3.8数据仓库与数据挖掘
至zzz·2023-10-02 04:46

【玩转ElasticSearch】降维打击！使用ElasticSearch作为时序数据库

现在要做这个后台的数据仓库层。详细分析一下需求：1.我们的用户画像走流式计算，每秒大量更新，所以对插入/更新性能要求很高。2.查询条件翻译成SQL就是类似selectcount(*)from`tabl
weixin_34326558·2023-10-02 04:35

数据仓库笔试题-pdd

题目：商品活动表goods_activity，字段id主键、goods_id商品id,act_id活动id,create_time活动创建时间、status上线状态2上线，3下线问题一、每个活动的每个商品的开始时间和结束时间？问题二、假设数据中有脏数据，同一个活动可能两次上线，也可能两次结束，需要把活动上线重复的状态按照时间取第一条，结束上线状态重复的按时间取最后一条。--第一题：--id,goo
浩海紫冰·2023-10-02 03:07

大数据开发 之 留存类统计写法

这个是数据仓库开发同学基本都会遇到的问题，属于留存类问题，实现方式也有很多种类，但是在大数据场景下的效率差距很大，因此整理自己写过四种输出留存的方式和对比下优劣。
浩海紫冰·2023-10-02 03:37

数据仓库架构师的岗位工作职责及应具备的能力

技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文将介绍数据仓库架构师的岗位工作职责及应具备的能力。
皮皮杂谈·2023-10-02 01:14

数据仓库基本概念

一般来说，数据仓库我们可以分为如下5层：关于数仓分层，不同的公司分的层数是不一样的，并且数仓的每一层的命名也没有一个统一的标准，比如这一层就叫这个名字，但是整体思想是一样的。
Jimmy2019·2023-10-01 21:33

java大数据之hive

一、Hive简介1.1Hive是什么由Facebook开源的一款基于hadoop的用于统计海量结构化数据的一个数据仓库。
这一刻_776b·2023-10-01 18:12

0037-数据集市,Inmon架构及Kimball架构

在数据仓库持续演进的过程中，逐渐产生了不少的架构方法，主要有Inmon架构，Kimball架构，数据集市架构及混合架构等。
大数据私房菜·2023-10-01 12:53

数据仓库（DW）的分层架构

目录1说明2数据仓库“分层”的优势3离线数仓的数据分层4实时数仓的数据分层1说明离线过程与实时过程的数仓的分层一般有所不同2数据仓库“分层”的优势（1）把复杂的问题简单化；通过把复杂的问题分解成多层，每次只处理简单任务
芋辕-·2023-10-01 12:22

数据仓库工具箱-学习笔记3-Kimball的DW和BI框架

数据仓库工具箱-学习笔记3Kimball的DW和BI框架DW/BI系统组成分为四个：操作型原系统、ETL系统、数据展现、商业智能一、操作型源系统记录的是业务数据，认为原系统处于数据仓库之外，因为我们几乎不能才做这部分数据
hxhh·2023-10-01 12:52

数据仓库工具箱-学习笔记4-其他DW/BI架构介绍

数据仓库工具箱-学习笔记4其他DW/BI架构介绍一、独立数据及时架构无需考虑企业级信息共享和集成，只针对部分人员的需求。
hxhh·2023-10-01 12:52

数据仓库系列5-Kimbal DW/BI生命周期概述

文章目录一.生命周期初始活动1.1程序／项目规划与管理1.1.1评估准备1.1.2范围及论证1.1.3人员配备1.1.4规划的开发及维护1.2业务需求定义1.2.1需求预规划1.2.2收集业务需求1.3生命周期技术路径1.3.1技术架构设计1.3.2产品选择与安装1.4生命周期数据路径1.4.1维度建模1.4.2物理设计1.4.3ETL设计与开发1.5生命周期Bl应用路径1.5.1Bl应用规范1.
只是甲·2023-10-01 12:52

数据仓库-DW/BI架构对比-读书笔记二

Kimball的DW／BI架构Kimball分工明确，资源占用更加合理，调用链路少，整个DW／BI系统更加稳定、高效、有保障。ETL系统高度关注数据质量、完整性、一致性。输入数据在进入时要检查其质量。一致的获取增值度量和属性的业务规则由ETL系统中的有技能的专业人员开发，这样会给客户发布更好的、保持一致性的产品。展现区根据客户要求使用统一维度组织数据。方便，高效为BI应用提供数据服务。独立数据集市
数据僧·2023-10-01 12:21

聊聊DW/BI

那么数据仓库(DW)就是大数据分析平台的第一步
红岸水滴·2023-10-01 12:49

SAP学习日志01---DW与BI

DW和BI的概念比较容易混淆，下面就结合自己的认识进行简单的描述：数据仓库：DW---DataWarehouse侧重于信息的整合、数据准备，包括数据迁移、组织、存取等后台工作。
Java2Sap·2023-10-01 12:19

2. Kimball的DW/BI架构解析

文章目录Kimball的DW/BI架构1.业务系统（数据源系统）2.获取-转换-加载（ETL）系统3.用于支持BI（商业智能）决策的展现区4.商业智能应用  引言：DW，即DataWarehouse，数据仓库
liuqiker·2023-10-01 12:48

阿里云数据库排行榜_云数据库优惠活动大全

阿里云数据库大全：RDS关系型数据库如MySQL版、PolarDB、PostgreSQL、SQLServer和MariaDB等，NoSQL数据库如Redis、Tair、Lindorm和MongoDB，数据仓库如
熵云AI·2023-10-01 11:34

【数据仓库架构】什么是 Azure Synapse，它与 Azure Data Bricks 有何不同？

AzureSynapseAnalytics是一项针对大型公司的无限信息分析服务，它被呈现为AzureSQL数据仓库(SQLDW)的演变，将业务数据存储和宏或大数据分析结合在一起。
架构师酒馆·2023-10-01 09:45
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他