数据湖数据仓库

数据仓库的MPP架构

数据仓库的MPP架构1.MPP架构的大数据计算引擎Impala、ClickHouse、Druid、Doris，采用MPP架构的很多OLAP引擎号称：亿级秒开2.MPP架构MPP是系统架构角度的一种服务器分类方法
美美的大猪蹄子·2023-10-11 10:17

Hive内部表、外部表、分区表、桶表概述

  Hive是基于Hadoop的一个数据仓库，可以将结构化的数据文件映射为一张表，并提供类sql查询功能，Hive底层将sql语句转化为mapreduce任务运行。
千释炎·2023-10-11 10:56

Analysis Services 建立数据仓库实例-ssas

AnalysisServices建立数据仓库实例-ssas环境配置好SqlServer2019-》SqlServerSSMS(管理工具)-》visualstudio第一，最好按照这个顺序安装。
何以问_·2023-10-11 07:07

python数据导入hive_hive常用功能：Hive数据导入导出方式

作为数据仓库的Hive，存储着海量用户使用的数据。在平常的Hive使用过程中，难免对遇到将外部数据导入到Hive或者将Hive中的数据导出来。今天主要就来学习一下Hive的几种数据导入和导出的方式。
摆摊卖爱情·2023-10-11 06:04

postgresql、mysql自己整理txt的一些小知识（持续更新）

whichpython#liunx数据库系统OLTP主要是业务操作数据库，工作简单只需要简单的事务能力就行，用户数量为上千个，库的大小也只有100MB-GB,但是时间要求很高，具有实时性OLAP主要是用于分析决策的数据仓库
平淡中的乐趣·2023-10-11 03:20

iceberg简介004_iceberg和其他数据湖框架的对比---数据湖Apache Iceberg工作笔记0004

然后来看一下iceberg和其他数据湖框架的对比这里可以看到hudi支持的多一点对吧,但是iceberg有自己的优势,并且他们都支持timeline也就是时间旅行对吧.然后这个图是显示了,数据湖三剑客的开源时间
脑瓜凉·2023-10-11 02:47

大数据学习(2)Hadoop-分布式资源计算hive(1)

哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博>主哦1.1什么是Hive1）Hive简介Hive是由Facebook开源，基于Hadoop的一个数据仓库工具
viperrrrrrr·2023-10-11 00:19

该如何设计数仓的汇总层(DWS)

关于数据仓库的分层，似乎大家都有一个共同的认识。但涉及到每一层该如何去建模，可能每个人都有自己的理解。
大数据技术与数仓·2023-10-10 23:28

【数据湖Hudi-10-Hudi集成Flink-读取方式&限流&写入方式&写入模式&Bucket索引】

数据湖Hudi-10-Hudi集成Flink-读取方式&限流&写入方式一、读取方式1流读（StreamingQuery）二、限流三、写入方式1.CDC数据同步1.使用第二种方式cdc+kafka进行mysql
Apache Minor Trend·2023-10-10 21:36

【数据湖Hudi-8-Hudi集成Flink-入门】

数据湖Hudi-8-Hudi集成Flink-入门Hudi集成Flink入门1.Hudi集成Flink版本对照关系2.Flink环境准备3.FlinkSQLClient方式处理任务1.修改配置2.创建表格
Apache Minor Trend·2023-10-10 21:06

数据仓库，Hive中使用 != 或 ＜＞符号进行条件过滤时的坑

最近在建设数据仓库，处理数据的过程中，经常反复使用hive的HQL语句，尽管HQL和SQL语言有很多相同之处，但也并不是说HQL就能通用SQL的语法。在使用过程中要尤为注意。
雾岛与鲸·2023-10-10 19:51

MPP和hadoop

特别是在企业数据仓库建设中，MPP架构与Hadoop架构代表两类典型的技术路线选型，事实上，在2015年左右甚至有人认为基于Hadoop体系的数仓将彻底取代基于MPP数据库的数仓。
方璧·2023-10-10 18:03

系统架构设计：11 论湖仓一体架构及其应用

目录一湖仓一体（Lakehouse）1数据仓库2数据湖3数据仓库和数据湖4湖仓一体（Lakehouse）
Jackilina_Stone·2023-10-10 18:01

Linux 部署 MinIO 分布式对象存储 & 配置为 typora 图床

前言MinIO是一款高性能的对象存储系统，它可以用于大规模的AI/ML、数据湖和数据库工作负载。它的API与AmazonS3云存储服务完全兼容，可以在任何云或本地基础设施上运行。
凉了的凉茶·2023-10-10 14:51

Flink系列之Flink的应用场景（一）

ApacheFlinkisaframeworkanddistributedprocessingengineforstatefulcomputationsoverunboundedandboundeddatastreamsDT时代，人们对于数据的要求越来越严格，从开始的大数据到现在慢慢转变成快数据，我们很多公司都是基于Hadoop生态搭建自己的数据仓库
当_下·2023-10-10 11:23

Python操作Hive数据仓库

2、Python连接Hive数据仓库1、Python如何连接Hive？
对许·2023-10-10 11:32

Hive面试常见基础问题

答：Hive是一个开源的数据仓库工具，用于处理和分析大规模结构化数据。它能够创建、修改和查询表结构，支持多种数据类型和查询操作，同时提供数据汇总和数据查询的功能。Hive和MySQL有什么不同？
饭九钦vlog·2023-10-10 10:24

天翼云 云中台融合部署（大纲案例）

”的统一技术底座构建云化IPTV业务管理平台，按照L3标准上云，具体包括：1.业务平台上天翼云；2.不依赖特定的专用硬件和商业软件；3.通过云翼平台使用PaaS清单内组件；4.平台数据按照规范要求入大数据湖
小可爱J 人工智能学者 全栈工程师·2023-10-10 08:32

spark sql如何行转列

在数据仓库中，行转列通常称为”变形”(Pivoting)或“透视”(Pivoting)，可使用SparkSQL的pivot语句实现。
大模型大数据攻城狮·2023-10-10 06:04

商业数据的获取与清洗

目录分析需求的数据化数据描述内部数据外部数据逻辑描述表态数据动态数据数据词典数据源前期准备PowerBI获取外部数据方法一：直接抓取表格数据方法二：使用示例抓取数据方法三：抓取JSON格式方法四：批量抓取数据MySQL内部获取可视化连接软件NAVICAT数据库与数据仓库数据库数据仓库举例数据的导入导入
熬不了夜哇·2023-10-09 21:22

中国移动对大数据分析需求猛增 成转型必备工具

北京时间5月14日早间消息（张月红）中国移动业务支撑系统部信息管理处处长陶涛，多年来一直在中国移动公司总部工作，负责数据仓库系统的建设。
cigang4063·2023-10-09 18:21

深度解析数据湖存储方案Lakehouse架构

简介：从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。
阿里云云栖号·2023-10-09 08:33

数据湖

一、什么是数据湖数据湖这一概念，最早是在2011年由CITOResearch网站的CTO和作家DanWoods首次提出。
大数据翻身·2023-10-09 08:31

2023.4.14 CSDN数开实习面试

4.14CSDN数开实习面试(20min)1.自我介绍2.你是潮汕人，知道我们公司在哪嘛，为何不在广州深圳找，找这个工作是出于岗位还是城市3.项目数据量4.数据库与数据仓库的区别5.知道scd嘛(反复确认了一下没听错
wang_jun_xin·2023-10-09 06:45

阶段项目总结

通过对互联网的舆论信息进行采集和分析，可以满足用户对网络舆情的检测和热点的追踪项目价值实现了从互联网上采集海量的数据，基于这个海量的数据，以及用户定制的主题，进行数据分析提供了热点发现，数据走势技术栈数据端：离线部分数据仓库的构建离线统计分析实时统计分析技术栈
The_Boy_le·2023-10-09 05:32

hive初识

数据仓库：DataWarehouse简写为DW数据仓库面向分析（大而全、准确性）：是面向主题、集成、不可修改、反映历史变化用于数据分析，辅助管理决策数据库面向事务（一致性、时效性）为什么分区？
The_Boy_le·2023-10-09 05:02

数据仓库——分层原理

目录一、什么是数据仓库二、数仓建模的意义，为什么要对数据仓库分层？
纠结安然猿·2023-10-08 23:05

数据分析与建模挖掘- 数据获取

在这里插入图片描述数据获取手段数据仓库检测与抓取填写日志埋点计算数据仓库分析仅靠运行的数据库无法完成数据更改减少冗余需要把用户的操作过程如实记录并长期保留将所有业务数据经汇总处理构成数据仓库(DW)全部事实记录
志䦀zy·2023-10-08 14:36

从小纸条到大软件：足球科技进化史（一）

回想起来，数据仓库的概念也不过才诞生在90年代初期由BillInmon（数据仓库之父）提出。在足球领域用数据来作为决策
weixin_30836759·2023-10-08 12:36

系统架构设计：论文论点目录

论微服务架构及其应用系统架构设计：5论软件的可靠性设计系统架构设计：6论软件质量保证及其应用系统架构设计：7论企业集成架构设计及应用系统架构设计：8论软件架构风格系统架构设计：9论软件系统架构评估及其应用系统架构设计：10论数据湖技术及其应用系统架构设计
Jackilina_Stone·2023-10-08 09:08

大数据之巅：深入分析数据湖架构的优势

文章目录什么是数据湖？
IT·陈寒·2023-10-08 08:30

基于Springboot的党员信息管理系统毕业设计源码161528

摘要由于数据库和数据仓库技术的快速发展，学校党员信息系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
weixin_61498557·2023-10-07 21:39

数仓的DW、ODS、DM概念及其区别

ODS层ODS(OperationalDataStore)操作性数据，是作为数据库到数据仓库的一种过渡，ODS的数据结构一般与数据来源保持一致，便于减少ETL的工作复杂性，而且ODS的数据周期一般比较短
焱行软件科技计算机毕设·2023-10-07 13:14

MYSQL基础（DDL,DML,DQL）

SQL优点1、简单易学，具有很强的操作性2、绝大多数重要的数据库管理系统均支持SQL3、高度非过程化；用SQL操作数据库时大部分的工作由DBMS自动完成1.数据库概念：数据仓库，软件，安装在操作系统之上作用
搁浅 L·2023-10-07 10:01

大数据学习，涉及哪些技术？

数据仓库：如AmazonRedshift
金木讲编程·2023-10-07 08:14

Nessie 像git一样管理你的数据

Nessie可以管理像git分支，合并数据源等一些特性；受git的版本管理启发跨表事务和可见性支持hive,spark,AWSAthena,dremio，管理其数据湖的数据深度和ApacheIceberg
卫渐行·2023-10-07 07:31

Python数据攻略-SQL和Mongodb的CRUD方法汇总

数据仓库是现代企业和个人项目中不可或缺的一部分。它们不仅存储了大量的数据，而且提供了查询和更新这些数据的方法。
Mr数据杨·2023-10-07 05:05

hive 修改cluster by算法_Hive入门实战（二）DDL数据定义

一、数据仓库--DDL数据定义1、创建数据库（1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。
weixin_39879651·2023-10-06 22:42

系统集成|第三章(笔记)

信息系统建设3.1.1信息系统3.1.2信息系统集成3.2信息系统设计3.3软件工程3.4面向对象系统分析与设计3.5软件架构3.5.1软件的架构模式3.5.2软件中间件3.6典型应用集成技术3.6.1数据库与数据仓库技术
多加点辣也没关系·2023-10-06 11:14

大数据项目之电商数仓（3电商数据仓库系统）V6.1.3

第1章数仓分层1.1为什么要分层1.2数据集市与数据仓库概念1.3数仓命名规范1.3.1表命名ODS层命名为ods_表名DWD层命名为dwd_dim/fact_表名DWS层命名为dws_表名DWT
okbin1991·2023-10-06 00:19

数据湖｜Flink + Iceberg 全场景实时数仓的建设实践

整理｜路培杰（Flink社区志愿者）摘要：ApacheFlink是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以Iceberg、Hudi、Delta为代表的解决方案应运而生
大数据技术架构·2023-10-05 13:31

数据仓库规范全解

正文开始这是数据仓库系列的第三个话题，排序在架构之后、建模之前。为什么会提的这么靠前呢？因为规范约束的是数仓建设的全流程，以及后续的迭代和运维。
程序员的隐秘角落·2023-10-05 09:13

数据仓库建模理论——总结

四种模型：ER模型维度模型DataVault模型Anthor模型以上四种模型，当前最流行建模方法为：ER模型、维度模型ER模型ER模型常用于OLTP数据库建模，应用到构建数仓时更偏重数据整合，站在企业整体考虑，将各个系统的数据按相关性一致性、合并梳理，为数据分析、决策服务，但并不便于直接用来支持分析。ER模型的问题：需要全面梳理企业所有的业务和数据流。实施周期长对建模人员要求高维度模型唯独见面是面
尼小摩·2023-10-05 08:50

【软考】4.4 数据库技术/SQL语言

转储和用户事务可并发执行；可秒级修复；禁止出错，备份不成功，结果几乎无效《分布式数据库》即局部数据库位于不同物理位置，使用一个全局DBMS将所有局部数据库联网管理；逻辑上是一个整体集中式数据库：所有数据库集中在同一个地方《数据仓库技术
一殊酒·2023-10-04 17:04

AWS概述

你可以畅享200多种服务，从数据仓库到部署工具，从目录到内容分发。无需前期昂贵的资金投入，你就可以快速提供新服务。
还是转转·2023-10-04 10:12

FFA 2021 专场解读 - 实时数据湖

其中，实时数据湖专场，来自阿里巴巴、字节跳动、网易的技术专家们将解读如何构建数据湖平台、简化实时数据入湖入仓等相关问题，更有Flink+Iceb
Apache Flink·2023-10-03 21:19

阿里云数据库大全_3分钟看懂阿里云RDS和NoSQL数据库汇总

阿里云数据库大全：RDS关系型数据库如MySQL版、PolarDB、PostgreSQL、SQLServer和MariaDB等，NoSQL数据库如Redis、Tair、Lindorm和MongoDB，数据仓库如
腮帮子疼·2023-10-03 19:16

数据仓库中的ER实体模型和维度模型

一、数据仓库建模的意义一个公司中会有多个业务业务系统，比如：OA系统、订单系统、财务系统、人事系统、仓储系统等，因此需要按照一定的组织结构将所有数据都整合起来，形成一个仓储平台。
剁椒鱼不要头·2023-10-03 16:11

spark-sql调优技巧

sparkSQL概述sparkSQL的前世今生==Shark是专门针对于spark的构建大规模数据仓库系统的一个框架==Shark与Hive兼容、同时也依赖于Spark版本Hivesql底层把sql解析成了
柱子z·2023-10-03 03:21

深入解析数据仓库中的缓慢变化维

前言最近公司在招聘数仓开发，笔者负责技术方面的一些问题，缓慢变化维自然是是不可缺少的环节。但出乎笔者预料的是，所有的面试者都没有完整了解缓慢变化维的前因后果及处理方式，大都是通过“野路子”碰运气实现几种简单通用的变化方式，甚至有人声称缓慢变化维就是拉链表。因此，笔者将基于kimball的数仓理论和自身对其的理解，对缓慢变化维进行全面且深入的介绍。什么是缓慢变化维？要解释缓慢变化维，必须先解释什么是
秋夜雨凉·2023-10-02 23:01
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他