数据仓库hadoop大数据

六、Hive数据仓库应用之Hive事务（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

Hive远程模式部署参考：一、Hive数据仓库应用之Hive部署（超详细步骤指导操作，WIN10，VMwareWorkstation15.5PRO，CentOS-6.7）文章目录一、事务的设计与特点1、
七层楼的疯子·2023-09-28 19:52

【大数据基础实践】(六)数据仓库Hive的基本操作

目录1.数据仓库概念2.Hive简介2.1简介2.2特性2.3生态系统3.Hive系统架构4.HQL转成MapReduce作业的原理4.1join的实现原理4.2groupby的实现原理5.实验练习5.1
小生凡一·2023-09-28 18:02

【数据仓库设计基础（三）】数据集市

文章目录一.数据集市的概念二.数据集市与数据仓库的区别三.数据集市设计一.数据集市的概念数据集市是数据仓库的一种简单形式，通常由组织内的业务部门自己建立和控制。
roman_日积跬步-终至千里·2023-09-28 18:52

【数据仓库设计基础（二）】维度数据模型

．优点1.4．缺点1.5．示例2.雪花模式2.1．数据规范化与存储2.2．优点2.3．缺点2.4．示例一.概述维度数据模型（Dimensionalmodeling,DM），是一套技术和概念的集合，用于数据仓库设计
roman_日积跬步-终至千里·2023-09-28 18:51

python解析sql字段血缘_数据仓库内表格的血缘关系追溯的方法和装置与流程

本发明涉及计算机领域，尤其涉及一种数据仓库内表格的血缘关系追溯的方法和装置。背景技术：在使用数据仓库时，用户需要了解他所使用的表格的来源。
箱崎星梨花·2023-09-28 16:23

解析数据仓库里的"元数据管理"

引言元数据管理是企业数据治理的基础，是数据仓库的提升；作为一名数据人，首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位。
秋夜雨凉·2023-09-28 16:15

spark相关网站

Spark的五种JOIN策略解析https://www.cnblogs.com/jmx-bigdata/p/14021183.html万字详解整个数据仓库建设体系（好文值得收藏）https://mp.weixin.qq.com
qq_40135006·2023-09-28 15:23

DataWorks 增强分析发布，一站式数据查询分析与可视化

在以往的数据分析工作流中，从数据仓库取数查询、到数据可视化、数据共享，往往要横跨多个产品，步骤繁琐，产
阿里云云栖号·2023-09-28 10:05

软考-数据库

数据库系统的体系结构分布式数据库特点可用性：一个副本出问题，可由另一个副本赋值过来接着用，不让系统崩溃分布式数据库透明三级模式-两层映射注意：不存在外模式与内模式的映射数据仓库数据库设计过程（了解）E-R
哦灬吼吼吼·2023-09-28 08:35

hadoop大数据 - 2 HDFS高可用集群、RM高可用集群

1.高可用简介在任何时候，集群中只有一个NN处于Active状态是很重要的，否则在两个ActiveNN的状态下，NameSpace会出现分歧，这将会导致数据丢失以及其他不正确结果，为了保证这种情况不会发生,在任何时间,JNs只允许一个NN当writer。在故障恢复期间,将要变成Active状态的NN将取得writer的角色,并阻止另外一个NN继续处于Active状态。在典型的HA集群中,通常有两台
Ma_JunSSR·2023-09-28 02:19

数据仓库建模方法 - 长表模式系统实践

*数据仓库构建难点：1.主题的准确划分，需要经常进行表的整合，有些表因为别人使用而无法废弃，表的数量越来越多2.数据库每个主题都有多张表，对使用方需要维护一个表说明清单，查询指标需要依赖额外的工具平台（
lwmxa·2023-09-28 00:04

1——Hive数仓项目完整流程（在线教育）

目录前言一、项目架构二、软件相关作用1.大数据相关软件2.数仓2.1数据仓库与数据库2.2数据仓库和数据集市2.3维度分析2.4指标3.数仓建模3.1建模理论3.2维度建模3.3维度建模的三种模型3.4
@—笨小孩—@·2023-09-27 23:39

oracle 拉链表算法,拉链表设计算法

在企业中，由于有些流水表每日有几千万条记录，数据仓库保存5年数据的话很容易不堪重负，因此可以使用拉链表的算法来节省存储空间。1.采集当日全量数据存储到ND(当日)表中。
噼啊求职·2023-09-27 20:47

oracle 拉链表如何分区,关于数据仓库历史拉链表新更新方法的说明

原始资料：数据仓库保留了大量的历史数据，这是区别于其他数据库的显著特点之一。历史数据能够使数据仓库重现任意时点的现场，对时间维度上的数据分析工作提供了重要的手段。
当回忆牵手未来·2023-09-27 20:46

oracle 拉链表如何分区,利用Hive实现数据仓库中的拉链表

拉链表介绍在数据分析中，有时会需要维护一些历史状态，比如订单状态变化、评分变化等，为了保存下来这些状态变化的路径，可以通过拉链表实现适用场景数据量比较大，但业务要求每次需要查询全量历史，每天存储一份全量数据太占用存储空间记录变更不大，比如只有状态和更新时间有变动，其它字段都不变实现思路通过在记录末尾增加start_date和end_date字段来实现同一ID按时间排序后，如果有较新的记录，则当前记
馒猫子·2023-09-27 20:16

Hive数据仓库你了解了吗

在工作中我们经常使用的数据库，数据库一般存放的我们系统中常用的数据，一般为百万级别。如果数据量庞大，达到千万级、亿级又需要对他们进行关联运算，该怎么办呢？前面我们已经介绍了HDFS和MapReduce了，它俩结合起来能够进行各种运算，可是MapReduce的学习成本太高了，如果有一种工具可以直接使用sql将hdfs中的数据查出来，并自动编写mapreduce进行运算，这就需要使用到我们的hive数
喜讯XiCent·2023-09-27 20:44

hive面试题

1、什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）2、Hive的意义（最初研发的原因）避免了去写MapReduce
且从容.·2023-09-27 20:44

Hive数仓项目之数仓分层、数仓工具的使用

往期内容：Hive数仓项目架构说明、环境搭建及数据仓库基础知识今日内容:1)教育项目数仓分层(知道,明确每一层的作用)2)数仓工具的相关的使用(操作)2.1HUE相关的使用(操作HDFSHIVE,OOZIE
黑马程序员官方·2023-09-27 20:14

Hive电商数仓实战

数据源可通过日志采集、爬虫、数据库中取得，经过数据清洗转换导入数据仓库，通过数仓中数据分析得到数据总结，用于企业决策。
GoAI·2023-09-27 20:14

hive总结

文章目录1、数据仓库的基本概念2、数据仓库与数据库区别3、数据仓库分层架构4、为什么要对数据仓库分层？
TUJC·2023-09-27 20:42

基于MaxCompute SQL 的半结构化数据处理实践

简介：MaxCompute作为企业级数据仓库服务，集中存储和管理企业数据资产、面向数据应用处理和分析数据，将数据转换为业务洞察。通过与阿里云内、外部服务灵活组合，可构建丰富的数据应用。
阿里云云栖号·2023-09-27 16:20

基于 MaxCompute SQL 的半结构化数据处理实践

一、MaxCompute基础介绍阿里云数据与分析产品解决方案MaxCompute作为企业级数据仓库服务，集中存储和管理企业数据资产、面向数据应用处理和分析数据，将数据转换为业务洞察。
阿里云技术·2023-09-27 16:48

产品解读 | 数据服务平台：KDP

以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、数据治理、数据共享、数据可视化、智能BI等功能，致力于满足企事业单位数据湖、数据仓库等多样需求
·2023-09-27 16:55

现代数据架构-湖仓一体

当前的数据架构已经从数据库、数据仓库，发展到了数据湖、湖仓一体架构，本篇文章从头梳理了一下数据行业发展的脉络。
ladofwind·2023-09-27 14:59

数据安全态势管理：什么是事实，什么是虚构？

公司正在将数据转移到云端，将其聚合在数据仓库和SaaS应用程序中，并在系统之间实时传输数
网络研究院·2023-09-27 09:59

定义现代化实时数据仓库，SelectDB 全新产品形态全面发布

导读：9月25日，2023飞轮科技产品发布会在线上正式召开，本次产品发布会以“新内核、新图景”为主题，飞轮科技CEO马如悦全面解析了现代化数据仓库的演进趋势，宣布立足于多云之上的SelectDBCloud
SelectDB技术团队·2023-09-27 08:18

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
2301_78385600·2023-09-27 07:31

hive详解

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能2）Hive本质：将HQL转化成MapReduce程序（1）Hive处理的数据存储在HDFS（2）
MYH516·2023-09-27 03:43

定义现代化实时数据仓库，SelectDB 全新产品形态全面发布

导读：9月25日，2023飞轮科技产品发布会在线上正式召开，本次产品发布会以“新内核、新图景”为主题，飞轮科技CEO马如悦全面解析了现代化数据仓库的演进趋势，宣布立足于多云之上的SelectDBCloud
·2023-09-26 21:27

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

基于公司丰富的音乐内容资产，需要将歌曲库、艺人资讯、专辑信息、厂牌信息等大量数据进行统一存储形成音乐内容数据仓库，并通过产品工具为业务人员提供数据分析服务。
·2023-09-26 19:55

实时分析、融合统一及云原生，现代化数据仓库未来发展必经之路｜专访飞轮科技 CEO 马如悦

在国内拥有2500+中大型企业用户，用户社群聚集开发者超3万人，活跃贡献者数连续数月稳居全球大数据开源项目排行榜第一。毋庸置疑，ApacheDoris已成为全国数据库和大数据领域最为活跃的开源项目之一。ApacheDoris历经近十年的发展，为何还能持续保持竞争力和活力？其背后的核心推动力又是什么？在QCon全球软件开发大会·北京站的现场，基于ApacheDoris的商业化公司飞轮科技的CEO、A
·2023-09-26 19:25

如何访问TDH中Inceptor 底层的元数据库TxSQL

如何访问TDH中Inceptor底层的元数据库TxSQL1Inceptor概述在大数据生态系统中，HIVE是离线数据仓库事实上的标准，绝大多数的大数据分析型系统或数据仓库系统，都是基于HIVE来构建的。
明哥的IT随笔·2023-09-26 12:42

[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念

一.各种名词解释1.1ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql映射到hive，那么到了hive里面就是ods层。ODS全称是OperationalDataStore，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的ETL之后，装入本层。本层的数据，总体上大多是按照源
白鸽呀·2023-09-26 12:03

《数据库理论与技术》期终考试复习题

文章目录一、填空题：二、选择题:三、简答题:一、填空题：数据仓库是面向(主题的)、(集成的)、(相对稳定的)、(反映历史变化)的数据集合.多维数据模型由(维表)和(事实表)定义，其常见的形式有(星型)、
做个好男人！·2023-09-26 03:16

CC00055.pbpositions——|Hadoop&PB级数仓.V13|——|PB数仓.v13|核心交易分析|DWS层建表|加载数据|

一、DWS层建表及数据加载说明###---DIM、DWD=>数据仓库分层、数据仓库理论~~~#需求：计算当天~~~全国所有订单信息~~~全国、一级商品分类订单信息~~~全国、二级商品分类订单信息~~~大区所有订单信息
yanqi_vip·2023-09-25 21:38

【离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计】

离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计一、DWS层设计要点二、DWS层设计分析-1d/nd1.DWS层设计一
Apache Minor Trend·2023-09-25 21:37

离线数仓——（活跃用户ODS层建表及加载数据，活跃用户DWD层建表及加载数据，活跃用户DWS层建表及加载数据，活跃用户ADS层建表及加载数据）

文章目录活跃用户ODS层建表及数据加载活跃用户DWD层建表及加载数据活跃用户活跃用户DWS层建表及加载数据活跃用户ADS层建表及加载数据活跃用户ODS层建表及数据加载离线数仓架构如下图所示：详细概念参考数据仓库
想做CTO的任同学...·2023-09-25 20:36

数仓命名规范

传统上，企业中数据仓库作为全企业数据汇聚的场所，不能直接保留原系统名称，需要进行规范命名，其命名规范也是数据标准的一部门。本文介绍的规范可供大家参考！
后季暖·2023-09-25 16:15

Hive中窗口函数的基本语法和示例

Hive是一个基于Hadoop的数据仓库解决方案，它允许你执行SQL查询和分析大规模数据集。Hive支持窗口函数，用于在查询中执行各种分析操作，例如排名、累积、分组和聚合，以及许多其他分析任务。
猫一样的女子245·2023-09-25 16:42

DataWorks 增强分析发布，一站式数据查询分析与可视化

在以往的数据分析工作流中，从数据仓库取数查询、到数据可视化、数据共享，往往要横跨多个产品，步骤繁琐，产
·2023-09-25 15:42

DataWorks 增强分析发布，一站式数据查询分析与可视化

在以往的数据分析工作流中，从数据仓库取数查询、到数据可视化、数据共享，往往要横跨多个产品，步骤繁琐，产
·2023-09-25 15:10

ELT in ByteHouse 实践与展望

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群谈到数据仓库，一定离不开使用Extract-Transform-Load(ETL)或Extract-Load-Transform
字节数据平台·2023-09-25 11:15

尚硅谷大数据项目《在线教育之实时数仓》笔记002

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第06章数据仓库环境准备P006P007P008P009P010P011P012P013P014第06章数据仓库环境准备P006P007P008http
upward337·2023-09-25 04:19

数据开发工程师-面试题

1、数据仓库的结构？数据仓库是一个用于存储、管理和分析大规模数据的集中式数据存储系统。它的结构通常包括以下主要组件和层次。
完美屁桃·2023-09-25 02:20

【软件设计师-从小白到大牛】上午题基础篇：第三章 数据库系统

五、规范化理论1、函数依赖2、价值与用途3、键4、范式5、模式分解六、并发控制真题链接分布式数据库特点（补充）真题链接七、完整性约束八、数据库安全真题链接九、数据备份十、数据库故障与恢复真题链接十一、数据仓库与数据挖掘十二
-dzk-·2023-09-24 23:44

火山引擎ByteHouse：一套方案，让OLAP引擎在精准投放场景更高效

精细化营销意味着要在数以亿计的人群中优选出那些最具潜力的目标受众，这无疑对提供基础引擎支持的数据仓库能力，提出了极大的技术挑战。
字节跳动技术团队·2023-09-24 14:20

广告案例｜10亿数据、查询<10s，论基于OLAP搭建广告系统的正确姿势

精细化营销意味着要在数以亿计的人群中优选出那些最具潜力的目标受众，这无疑对提供基础引擎支持的数据仓库能力，提出了极大的技术挑战。背景人群圈选分析是客户画像平台(CDP)中的核心功能。
字节跳动技术团队·2023-09-24 14:19

同程数科基于 Apache Doris 的数据仓库建设

同程数科基于ApacheDoris的数据仓库建设导读：同程数科成立于2015年，是同程集团旗下的旅游产业金融服务平台。
SelectDB技术团队·2023-09-24 10:10

数据仓库的概念、特点与组成

目录1概念2特点2.1面向主题2.2集成2.3相对稳定2.4反映历史变化3组成3.1数据仓库数据库3.2数据抽取工具3.3元数据3.4访问工具3.5数据集市（DataMart）3.6数据仓库管理3.7信息发布系统
hellosc01·2023-09-24 10:31

离线数据仓库

1数据仓库建模1.1建模工具  PowerDesigner/SQLYog/EZDML…1.2ODS层  （1）保持数据原貌不做任何修改，起到备份数据的作用。  
满床清梦覆星河·2023-09-24 10:30
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他