数据湖数据仓库

数据仓库建模方法 - 长表模式系统实践

*数据仓库构建难点：1.主题的准确划分，需要经常进行表的整合，有些表因为别人使用而无法废弃，表的数量越来越多2.数据库每个主题都有多张表，对使用方需要维护一个表说明清单，查询指标需要依赖额外的工具平台（
lwmxa·2023-09-28 00:04

1——Hive数仓项目完整流程（在线教育）

目录前言一、项目架构二、软件相关作用1.大数据相关软件2.数仓2.1数据仓库与数据库2.2数据仓库和数据集市2.3维度分析2.4指标3.数仓建模3.1建模理论3.2维度建模3.3维度建模的三种模型3.4
@—笨小孩—@·2023-09-27 23:39

oracle 拉链表算法,拉链表设计算法

在企业中，由于有些流水表每日有几千万条记录，数据仓库保存5年数据的话很容易不堪重负，因此可以使用拉链表的算法来节省存储空间。1.采集当日全量数据存储到ND(当日)表中。
噼啊求职·2023-09-27 20:47

oracle 拉链表如何分区,关于数据仓库历史拉链表新更新方法的说明

原始资料：数据仓库保留了大量的历史数据，这是区别于其他数据库的显著特点之一。历史数据能够使数据仓库重现任意时点的现场，对时间维度上的数据分析工作提供了重要的手段。
当回忆牵手未来·2023-09-27 20:46

oracle 拉链表如何分区,利用Hive实现数据仓库中的拉链表

拉链表介绍在数据分析中，有时会需要维护一些历史状态，比如订单状态变化、评分变化等，为了保存下来这些状态变化的路径，可以通过拉链表实现适用场景数据量比较大，但业务要求每次需要查询全量历史，每天存储一份全量数据太占用存储空间记录变更不大，比如只有状态和更新时间有变动，其它字段都不变实现思路通过在记录末尾增加start_date和end_date字段来实现同一ID按时间排序后，如果有较新的记录，则当前记
馒猫子·2023-09-27 20:16

Hive数据仓库你了解了吗

在工作中我们经常使用的数据库，数据库一般存放的我们系统中常用的数据，一般为百万级别。如果数据量庞大，达到千万级、亿级又需要对他们进行关联运算，该怎么办呢？前面我们已经介绍了HDFS和MapReduce了，它俩结合起来能够进行各种运算，可是MapReduce的学习成本太高了，如果有一种工具可以直接使用sql将hdfs中的数据查出来，并自动编写mapreduce进行运算，这就需要使用到我们的hive数
喜讯XiCent·2023-09-27 20:44

hive面试题

1、什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）2、Hive的意义（最初研发的原因）避免了去写MapReduce
且从容.·2023-09-27 20:44

Hive数仓项目之数仓分层、数仓工具的使用

往期内容：Hive数仓项目架构说明、环境搭建及数据仓库基础知识今日内容:1)教育项目数仓分层(知道,明确每一层的作用)2)数仓工具的相关的使用(操作)2.1HUE相关的使用(操作HDFSHIVE,OOZIE
黑马程序员官方·2023-09-27 20:14

Hive电商数仓实战

数据源可通过日志采集、爬虫、数据库中取得，经过数据清洗转换导入数据仓库，通过数仓中数据分析得到数据总结，用于企业决策。
GoAI·2023-09-27 20:14

hive总结

文章目录1、数据仓库的基本概念2、数据仓库与数据库区别3、数据仓库分层架构4、为什么要对数据仓库分层？
TUJC·2023-09-27 20:42

基于MaxCompute SQL 的半结构化数据处理实践

简介：MaxCompute作为企业级数据仓库服务，集中存储和管理企业数据资产、面向数据应用处理和分析数据，将数据转换为业务洞察。通过与阿里云内、外部服务灵活组合，可构建丰富的数据应用。
阿里云云栖号·2023-09-27 16:20

基于 MaxCompute SQL 的半结构化数据处理实践

一、MaxCompute基础介绍阿里云数据与分析产品解决方案MaxCompute作为企业级数据仓库服务，集中存储和管理企业数据资产、面向数据应用处理和分析数据，将数据转换为业务洞察。
阿里云技术·2023-09-27 16:48

产品解读 | 数据服务平台：KDP

以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、数据治理、数据共享、数据可视化、智能BI等功能，致力于满足企事业单位数据湖
·2023-09-27 16:55

现代数据架构-湖仓一体

当前的数据架构已经从数据库、数据仓库，发展到了数据湖、湖仓一体架构，本篇文章从头梳理了一下数据行业发展的脉络。
ladofwind·2023-09-27 14:59

数据安全态势管理：什么是事实，什么是虚构？

公司正在将数据转移到云端，将其聚合在数据仓库和SaaS应用程序中，并在系统之间实时传输数
网络研究院·2023-09-27 09:59

定义现代化实时数据仓库，SelectDB 全新产品形态全面发布

导读：9月25日，2023飞轮科技产品发布会在线上正式召开，本次产品发布会以“新内核、新图景”为主题，飞轮科技CEO马如悦全面解析了现代化数据仓库的演进趋势，宣布立足于多云之上的SelectDBCloud
SelectDB技术团队·2023-09-27 08:18

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
2301_78385600·2023-09-27 07:31

hive详解

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能2）Hive本质：将HQL转化成MapReduce程序（1）Hive处理的数据存储在HDFS（2）
MYH516·2023-09-27 03:43

基于 DTS 同步 MySQL 全增量数据至 CKafka，构建实时数仓的最佳实践

通常企业会构建数据湖仓，将多个数据源通过数据集成技术，汇集一起进行数据分析。由此，数据集成成为了构建数据湖仓的必经之路，然而企业在数据集成过程中却面临很多棘手问题。全量
·2023-09-26 21:29

定义现代化实时数据仓库，SelectDB 全新产品形态全面发布

导读：9月25日，2023飞轮科技产品发布会在线上正式召开，本次产品发布会以“新内核、新图景”为主题，飞轮科技CEO马如悦全面解析了现代化数据仓库的演进趋势，宣布立足于多云之上的SelectDBCloud
·2023-09-26 21:27

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

基于公司丰富的音乐内容资产，需要将歌曲库、艺人资讯、专辑信息、厂牌信息等大量数据进行统一存储形成音乐内容数据仓库，并通过产品工具为业务人员提供数据分析服务。
·2023-09-26 19:55

实时分析、融合统一及云原生，现代化数据仓库未来发展必经之路｜专访飞轮科技 CEO 马如悦

在国内拥有2500+中大型企业用户，用户社群聚集开发者超3万人，活跃贡献者数连续数月稳居全球大数据开源项目排行榜第一。毋庸置疑，ApacheDoris已成为全国数据库和大数据领域最为活跃的开源项目之一。ApacheDoris历经近十年的发展，为何还能持续保持竞争力和活力？其背后的核心推动力又是什么？在QCon全球软件开发大会·北京站的现场，基于ApacheDoris的商业化公司飞轮科技的CEO、A
·2023-09-26 19:25

如何访问TDH中Inceptor 底层的元数据库TxSQL

如何访问TDH中Inceptor底层的元数据库TxSQL1Inceptor概述在大数据生态系统中，HIVE是离线数据仓库事实上的标准，绝大多数的大数据分析型系统或数据仓库系统，都是基于HIVE来构建的。
明哥的IT随笔·2023-09-26 12:42

[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念

一.各种名词解释1.1ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql映射到hive，那么到了hive里面就是ods层。ODS全称是OperationalDataStore，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的ETL之后，装入本层。本层的数据，总体上大多是按照源
白鸽呀·2023-09-26 12:03

《数据库理论与技术》期终考试复习题

文章目录一、填空题：二、选择题:三、简答题:一、填空题：数据仓库是面向(主题的)、(集成的)、(相对稳定的)、(反映历史变化)的数据集合.多维数据模型由(维表)和(事实表)定义，其常见的形式有(星型)、
做个好男人！·2023-09-26 03:16

CC00055.pbpositions——|Hadoop&PB级数仓.V13|——|PB数仓.v13|核心交易分析|DWS层建表|加载数据|

一、DWS层建表及数据加载说明###---DIM、DWD=>数据仓库分层、数据仓库理论~~~#需求：计算当天~~~全国所有订单信息~~~全国、一级商品分类订单信息~~~全国、二级商品分类订单信息~~~大区所有订单信息
yanqi_vip·2023-09-25 21:38

【离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计】

离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计一、DWS层设计要点二、DWS层设计分析-1d/nd1.DWS层设计一
Apache Minor Trend·2023-09-25 21:37

离线数仓——（活跃用户ODS层建表及加载数据，活跃用户DWD层建表及加载数据，活跃用户DWS层建表及加载数据，活跃用户ADS层建表及加载数据）

文章目录活跃用户ODS层建表及数据加载活跃用户DWD层建表及加载数据活跃用户活跃用户DWS层建表及加载数据活跃用户ADS层建表及加载数据活跃用户ODS层建表及数据加载离线数仓架构如下图所示：详细概念参考数据仓库
想做CTO的任同学...·2023-09-25 20:36

数仓命名规范

传统上，企业中数据仓库作为全企业数据汇聚的场所，不能直接保留原系统名称，需要进行规范命名，其命名规范也是数据标准的一部门。本文介绍的规范可供大家参考！
后季暖·2023-09-25 16:15

Hive中窗口函数的基本语法和示例

Hive是一个基于Hadoop的数据仓库解决方案，它允许你执行SQL查询和分析大规模数据集。Hive支持窗口函数，用于在查询中执行各种分析操作，例如排名、累积、分组和聚合，以及许多其他分析任务。
猫一样的女子245·2023-09-25 16:42

DataWorks 增强分析发布，一站式数据查询分析与可视化

在以往的数据分析工作流中，从数据仓库取数查询、到数据可视化、数据共享，往往要横跨多个产品，步骤繁琐，产
·2023-09-25 15:42

DataWorks 增强分析发布，一站式数据查询分析与可视化

在以往的数据分析工作流中，从数据仓库取数查询、到数据可视化、数据共享，往往要横跨多个产品，步骤繁琐，产
·2023-09-25 15:10

ELT in ByteHouse 实践与展望

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群谈到数据仓库，一定离不开使用Extract-Transform-Load(ETL)或Extract-Load-Transform
字节数据平台·2023-09-25 11:15

Hudi数据湖技术引领大数据新风口(四)核心概念

文章目录第3章核心概念3.1基本概念3.1.1时间轴（TimeLine）3.1.2文件布局（FileLayout）3.1.3索引（Index）后记第3章核心概念3.1基本概念3.1.1时间轴（TimeLine）Hudi的核心是维护表上在不同的即时时间（instants）\执行的所有操作的时间轴（timeline）\，这有助于提供表的即时视图，同时还有效地支持按到达顺序检索数据。一个instant由
Maynor996·2023-09-25 06:27

尚硅谷大数据项目《在线教育之实时数仓》笔记002

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第06章数据仓库环境准备P006P007P008P009P010P011P012P013P014第06章数据仓库环境准备P006P007P008http
upward337·2023-09-25 04:19

【Phoenix】phoenix实现每个Primarykey主键保留N版本数据，CDC数据记录为Changelog格式

另外数据湖Hudi(0.13.1)是不支持保存所有Changelog其Compaction机制会清除所有旧版本的内容。
lisacumt·2023-09-25 04:12

数据开发工程师-面试题

1、数据仓库的结构？数据仓库是一个用于存储、管理和分析大规模数据的集中式数据存储系统。它的结构通常包括以下主要组件和层次。
完美屁桃·2023-09-25 02:20

Zoom 在数据湖上的流批一体架构实践！

1.背景OnZoom是Zoom新产品，是基于ZoomMeeting的一个独一无二的在线活动平台和市场。作为Zoom统一通信平台的延伸，OnZoom是一个综合性解决方案，为付费的Zoom用户提供创建、主持和盈利的活动，如健身课、音乐会、站立表演或即兴表演，以及Zoom会议平台上的音乐课程。在OnZoomdataplatform中，source数据主要分为MySQLDB数据和Log数据。其中Kafka
程序员的隐秘角落·2023-09-25 02:25

【软件设计师-从小白到大牛】上午题基础篇：第三章 数据库系统

五、规范化理论1、函数依赖2、价值与用途3、键4、范式5、模式分解六、并发控制真题链接分布式数据库特点（补充）真题链接七、完整性约束八、数据库安全真题链接九、数据备份十、数据库故障与恢复真题链接十一、数据仓库与数据挖掘十二
-dzk-·2023-09-24 23:44

数据湖在爱奇艺数据中台的应用

01我们眼中的数据湖作为爱奇艺的数据中台团队，我们的核心任务是管理和服务公司内的大量数据资产。在实施数据治理的过程中，我们不断吸收新的理念，引入尖端的工具，以精细化我们的数据体系管理。
爱奇艺技术产品团队·2023-09-24 18:31

火山引擎ByteHouse：一套方案，让OLAP引擎在精准投放场景更高效

精细化营销意味着要在数以亿计的人群中优选出那些最具潜力的目标受众，这无疑对提供基础引擎支持的数据仓库能力，提出了极大的技术挑战。
字节跳动技术团队·2023-09-24 14:20

广告案例｜10亿数据、查询<10s，论基于OLAP搭建广告系统的正确姿势

精细化营销意味着要在数以亿计的人群中优选出那些最具潜力的目标受众，这无疑对提供基础引擎支持的数据仓库能力，提出了极大的技术挑战。背景人群圈选分析是客户画像平台(CDP)中的核心功能。
字节跳动技术团队·2023-09-24 14:19

同程数科基于 Apache Doris 的数据仓库建设

同程数科基于ApacheDoris的数据仓库建设导读：同程数科成立于2015年，是同程集团旗下的旅游产业金融服务平台。
SelectDB技术团队·2023-09-24 10:10

数据仓库的概念、特点与组成

目录1概念2特点2.1面向主题2.2集成2.3相对稳定2.4反映历史变化3组成3.1数据仓库数据库3.2数据抽取工具3.3元数据3.4访问工具3.5数据集市（DataMart）3.6数据仓库管理3.7信息发布系统
hellosc01·2023-09-24 10:31

离线数据仓库

1数据仓库建模1.1建模工具  PowerDesigner/SQLYog/EZDML…1.2ODS层  （1）保持数据原貌不做任何修改，起到备份数据的作用。  
满床清梦覆星河·2023-09-24 10:30

数据中心与数据仓库发展趋势

一、数据中台与数据仓库的概念及作用数据中台是指将企业内外各种数据通过数据采集、数据处理、数据存储、数据分析、数据可视化等方式进行整合、处理和挖掘，为企业提供数据服务的一体化平台。
a谷雨c·2023-09-24 10:58

大数据杂谈

架构师如何在面试中说服面试官根据课程项目做一些改动（变成自己熟悉的东西），形成一个新的项目，去增强面试的能力学习建议勤动手，执行范例多思考结合实际业务，深入思考会排错查看日志学会查阅官方文档定目标做分享所学知识运用到实际项目中番外数据湖是数仓的增强版本格式管理数据管理时间旅行
February13·2023-09-24 08:26

数据仓库整理

OLAP主要用于支持复杂的数据分析，如数据仓库、决策支持等，强调数据的维度、聚合和可视化。
haobu枳·2023-09-24 04:17

大数据的崭露头角：数据湖与数据仓库的融合之道

文章目录数据湖与数据仓库的基本概念数据湖（DataLake）数据仓库（DataWarehouse）数据湖和数据仓库的优势和劣势数据湖的优势数据湖的劣势数据仓库的优势数据仓库的劣势数据湖与数据仓库的融合之道
IT·陈寒·2023-09-24 04:31

数据仓库

数据库与数据仓库的本质区别是什么？:https://www.zhihu.com/question/20623931BI与数据仓库（DW）之间的关系是怎么样的？
shuff1e·2023-09-23 14:01
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他