数仓（

「Datafuse Labs」今天一岁啦

新一代云数仓DatabendDatabend是一个使
·2022-03-05 10:36

数仓建模—ID Mapping

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据
大数据技术派·2022-03-04 23:00

深度剖析数仓CN增量备份技术

摘要：为了解决Roach的性能问题，提出了CN增量备份手段，从而达到进一步优化RPO目的。本文分享自华为云社区《GaussDB(DWS)备份容灾之CN增量备份》，作者：zxy_db。1.摘要在数据量增大时，如果CN每次都做全量备份，则会导致每次的备份数据量很大，不仅会降低备份的性能，也从造成备份集恢复性能的降低。如果改成CN增量备份，则备份集只会备份差异数据，这样不仅会使得备份数据量变小，而且也会
华为云开发者社区·2022-03-04 10:00

数仓建模—埋点设计与管理

数据仓库系列文章(部分已出，持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓
大数据技术派·2022-03-03 22:00

数仓概念梳理

数仓概念梳理数仓分层常见分层思路、案例案例1：互联网金融ODL层(OperationalDataLayer)：操作数据层外部数据什么样，该层数据就是什么样（关系型数据库、JSON格式等)，部分关系型数据可以直接转
王亭_666·2022-02-28 15:14

数仓已死？数据湖当立！

也有大厂的数仓大佬高屋建瓴，指点江山，侃侃而谈。为啥吐槽？因为我们知道，这再也不是以前数据至上、工程为先的俄罗斯方块游戏了，而是客户至上、业务为先的神庙逃亡游戏。
dbLenis·2022-02-28 15:14

数据仓库为什么要分层

数仓分层的意义数据仓库为企业提供数据支撑，数据到了数仓并不是总结，反而恰恰是一个开始。数据在数仓进过清洗、转换和加载，利用OLAP能力，向上为企业各业务赋能。为什么要对数仓进行分层？
塔城就是个弟弟·2022-02-28 15:13

电商数据仓库系统搭建1

数仓分层为什么要分层数据集市与数据仓库概念数仓理论范式理论范式概念1）定义范式可以理解为设计一张数据表的表结构，符合的标准级别、规范和要求。2）优点采用范式，可以降低数据的冗余性。
sj天问·2022-02-28 15:39

维度建模理论与数仓分层思想

维度建模理论与数仓分层思想维度建模ODS层因为保留原始数据,所以和业务数据库(关系模型)一样是关系模型.DWD层即进行了维度建模,将下面的模型↓转化为了下面的维度模型,即以事实表为中心,周围有一圈的维度表
不爱吃鱼的馋猫·2022-02-28 15:07

电商数仓描述_尚硅谷大数据项目之电商数仓（系统业务数据仓库）

3.2.5Sqoop导入数据异常处理1)问题描述：执行Sqoop导入数据脚本时，发生如下异常java.sql.SQLException:Streamingresultsetcom.mysql.jdbc.RowDataDynamic@65d6b83bisstillactive.Nostatementsmaybeissuedwhenanystreamingresultsetsareopenandinu
知知呼呼·2022-02-28 15:04

使用Oozie中workflow的定时任务重跑hive数仓表的历史分期调度

在数仓和BI系统的开发和使用过程中会经常出现需要重跑数仓中某些或一段时间内的分区数据，原因可能是：1.数据统计和计算逻辑/口径调整，2.发现之前的埋点数据收集出现错误或者埋点出现错误，3.业务数据库出现人为修改历史数据的情况
weixin_30709061·2022-02-28 15:33

【数据仓库】数仓到底要分多少层

0、前言初学数仓的同学都喜欢问一个很有意思的问题：数据仓库到底要分几层？我一般的回答都是：你想分几层就分几层。很显然，虽然我是很认真的在回答，但是提问题的人会感觉非常不认真。
Impl_Sunny·2022-02-28 15:32

33 大数据项目之电商数仓（电商数据仓库系统）

文章目录写SQL的规律第1章数仓分层1.1为什么要分层1.2数据集市与数据仓库概念1.3数仓命名规范1.3.1表命名1.3.2脚本命名第2章数仓理论2.1范式理论2.1.1范式概念2.1.2函数依赖2.1.3
Walter_bigdata·2022-02-28 15:31

Hive 3.1.2 数仓基本概念 大致分层

数据仓库的基本概念数据库和数据仓库的区别：数据库On-LineTransactionProcessing（OLTP）：存储数据的仓库一般用于事务操作，主要是用于捕获数据要求延迟性较低数据仓库On-LineAnalyticalProcessing（OLAP）：存储数据的仓库，面向于主题（分析）的，一般是保存过去的历史数据，主要是对这些数据进行统计分析，对未来提供决策支持，一般对延迟没有特备要求何为数
烟解愁、酒上头·2022-02-28 15:00

Hive之数仓的分层及建模理论

建立统一的数据中心产生业务报表，用于作出决策为网站运营提供运营上的数据支持可以作为各个业务的数据源，形成业务数据互相反馈的良性循环分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果开发数据产品，直接或间接地为公司盈利二、数仓运行架构图三
大数据翻身·2022-02-28 15:59

电商数仓3.0 - 电商数据仓库系（1） - 知识点总结

1.三大范式第一范式属性不可分割第二范式不能存在“部分函数依赖”第三范式不能存在传递函数依赖2.关系建模与维度建模联机事物处理-OLTPOLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。联机分析处理-OLAPOLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果对比关系建模维度建模维度建模主要应用于OLAP系统中，通常以某一
初学锗·2022-02-28 15:59

离线数仓03-数仓分层业务逻辑

1数仓分层1.1为什么要分层？
最佳第六六六人·2022-02-28 15:58

数据仓库之分层 为什么分层 如何分层 和数据库的区别

数据仓库分层如何理解数仓为什么要设计数据分层通用的数据分层设计每层之间的界限又是什么？数据集市和数据仓库的区别数据库和数据仓库有什么区别？
jialun0116·2022-02-28 15:26

数据仓库知识点总结（数仓分层建模、维度建模等）

文章目录数据仓库知识点总结1.数据仓库分层理论1.1数仓分层架构的好处1.2数据仓库核心分层2.数据仓库建模方法论2.1ER模型2.2维度模型2.3DataVault模型2.4Anchor模型3.维度建模方法论
leaeason·2022-02-28 15:53

分享企业级HIVE数仓规范文档----对管理数仓很有帮助

数据仓库实施方案文件编号：V0.1生效日期：编制人：审核人：批准人：日期：2019.08.29日期：日期：关键词数据仓库数据模型
cuichunchi·2022-02-28 15:21

数据建设-数仓分层

前言数据仓库是所有产品的数据中心，公司体系下的所有产品产生的所有数据最终都流向数据仓库，可以说数据仓库不产生数据，也不消费数据，只是数据的搬运工。注意：本文讨论的数据公共层设计理念遵循维度建模思想数据仓库的作用存储数据校准数据整合数据输出数据基于以上几点，需要将数据分层次管理，每一层分工合作，对数据进行不同程度的处理，如同工厂里的流水线一般，从而确保数据的生命性、生态性。模型层次数据模型分为三层：
piepis·2022-02-28 15:50

hive在数仓ODS层到DWD层建模方法

数仓建模的原因当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-linetransactionprocessing）、联机分析处理OLAP（On-LineAnalyticalProcessing
猛肝自然强·2022-02-28 15:15

数据仓库之电商数仓-- 3.4、电商数据仓库系统(ADS层)

目录九、数仓搭建-ADS层9.1建表说明9.2访客主题9.2.1访客统计9.2.2路径分析9.3用户主题9.3.1用户统计9.3.2用户变动统计9.3.3用户行为漏斗分析9.3.4用户留存率9.4商品主题
FunnyPrince_·2022-02-28 15:41

数据仓库之电商数仓-- 3.3、电商数据仓库系统(DWT层)

目录八、数仓搭建-DWT层8.1访客主题8.2用户主题8.3商品主题8.4优惠券主题8.5活动主题8.6地区主题8.7DWT层首日数据导入脚本8.8DWT层每日数据导入脚本---------------
FunnyPrince_·2022-02-28 15:41

为什么要做数仓分层，不做行吗？

今天跟大家聊一聊数仓为什么分层？01经典的数仓分层首先跟大家聊一个经典的数仓分层结构，主要包括ODS、DWS、DW、APP四层。
数据社·2022-02-28 15:08

基于 Kafka 的实时数仓在搜索的实践应用

一、概述ApacheKafka发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。ApacheKafka社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得ApacheKafka功能越发丰富、性能越发稳定，成为企业大数据技术架构解决方案中重要的一环。ApacheKafka作为一个热门消息队列中间件，具备高效可靠的消息处理能力，且拥有非常广泛的应用领域。那么，今天就来
·2022-02-28 11:30

基于 Kafka 的实时数仓在搜索的实践应用

一、概述ApacheKafka发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。ApacheKafka社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得ApacheKafka功能越发丰富、性能越发稳定，成为企业大数据技术架构解决方案中重要的一环。ApacheKafka作为一个热门消息队列中间件，具备高效可靠的消息处理能力，且拥有非常广泛的应用领域。那么，今天就来
vivo互联网技术·2022-02-28 11:00

数仓 即席查询 之 Kylin 查询

文章目录需求：BI工具集成JDBC代码：Zepplin需求：不同地区下的订单金额数selectbp.region_name,sum(sku_num)fromdwd_order_detailodjoindim_base_provincebponod.province_id=bp.idgroupbybp.region_name;实现每日构建Cube：https://blog.csdn.net/weix
Alienware^·2022-02-28 11:14

数仓 即席查询 之 Kylin 安装与预计算

文章目录什么是即席查询Kylin简介Kylin安装和启动Kylin使用创建工程获取数据源创建model构建cube使用进阶什么是即席查询即席查询（AdHoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是由用户自定义查询条件的。Kylin简介https://blog.csdn.net/w
Alienware^·2022-02-28 11:13

数据仓库面试题-数仓-五

1.理解维度数据仓库——事实表、维度表、聚合表参考自1.1事实表在多维数据仓库中，保存度量值的详细值或事实的表称为“事实表”。事实表中的每个列通常要么是键值列，要么是度量值列，但也可能包含其他参考目的的列——例如采购订单号或者发票号。事实表中，每个度量值都有一个列。不同事实表将有不同的度量值。事实表中对每个维度的最详细的项目成员都有数据行。事实是事实表几乎总会使用一个整数值来表示(维度)成员，而不
wuli玉shell·2022-02-28 11:12

oracle用户行为记录,用户行为分析-埋点实时数仓实践(附用户关联源码)

一、概述埋点采集、用户行为分析、实时数仓、IdMapping此文重点讲述埋点的数据模型、数据格式、数据实时采集、加工、存储及用户关联。
lihahamiao·2022-02-28 11:07

腾讯微信部门大数据开发面试题-附答案

全文总共包含13个知识点和1个LeetCode代码以下是面试被提问的问题：自我介绍+项目介绍数仓为什么要分层？数据仓库都分哪几层？简单介绍一下Mapreduce工作原理？Hdfs的读数据流程了解吗？
3分钟秒懂大数据·2022-02-28 10:04

大数据开发岗面试真题-附答案详细解析

以下为面试过程中提问，岗位为大数据开发，根据提问内容看出，主要偏数仓方向自我介绍到北京工作的意愿SQL题，给一张城市和交易额表，一张城市对应省份表，取出省份总交易额大于500的省份的名字SQL题，基于刚才
大数据开发工程师i·2022-02-28 10:20

【大数据day17】——Hive数据仓库（数据库与数据仓库的区别，Hive 的基本概念， Hive 的安装， Hive 的安装，Hive 的基本操作1）

文章目录数据仓库-Hive1.数据仓库1.1.基本概念1.2.主要特征1.2.1.面向主题1.2.2.集成性1.2.3.非易失性1.2.4.时变性1.3.数据库与数据仓库的区别1.4.数仓的分层架构为什么要对数据仓库分层
我不是靓仔ing·2022-02-28 10:18

15道经典大数据面试题

自我介绍+项目介绍数仓为什么要分层？数据仓库都分哪几层？简单介绍一下Mapreduce工作原理？Hdfs的读数据流程了解吗？Hdfs的写操作呢？
远方时光·2022-02-28 10:46

数仓OLAP(一)--即席查询 Kylin

一、KylinApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。它能在亚秒内查询巨大的Hive表，可以做到在TB级的数据量上实现亚秒级的查询响应。核心思想ApacheKylin的核心思想是利用空间换时间，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），同时由于A
四月天08·2022-02-28 10:15

大数据笔试真题集锦---第七章:数仓面试题

第七章目录第七章数仓数仓是一个面向主题的、集成的、稳定的、时变的，存储历史数据的仓库。
Ricky的技术小站·2022-02-28 10:14

微信 ClickHouse 实时数仓的实践之路

下文将由浅入深，为大家揭晓微信在ClickHouse实时数仓
腾讯开发者·2022-02-28 10:02

大数据面试题汇总（含数仓）

目录10月19日10月20日（HDFS）10月21日（hadoop）10月22日10月23日10月24日10月25日
x我有辣条跟我走。·2022-02-28 10:55

数据仓库之电商数仓-- 5、即席查询Kylin

目录一、Kylin1.1Kylin简介1.1.1Kylin定义1.1.2Kylin相关术语1.1.3Kylin架构1.1.4Kylin特点1.2Kylin安装1.2.1Kylin依赖环境1.2.2Kylin搭建1.2.3Kylin兼容性问题1.2.4Kylin启动1.3Kylin启动1.3.1创建工程1.3.2获取数据源1.4KylinCube构建原理1.4.1维度和度量1.4.2Cube和Cub
FunnyPrince_·2022-02-28 10:53

大数据框架和数仓高频面试题总结

目录HadoopHiveHbaseSpark协作组件数仓Hadoop1、简答说一下hadoop的map-reduce编程模型MapReduce计算模型主要由三个阶段构成：Map、shuffle、Reduce
击水三千里·2022-02-28 10:53

大数据面试题--数仓

目录数据仓库理论数据分层ETL星形模型与雪花模型的区别？维度建模（dimensionalmodeling）：数据仓库项目最重要或需要注意的是什么，以及如何处理？关系建模与维度建模拉链表：维度表和事实表数据仓库中的维度和粒度维度建模步骤：如何构建数据仓库？Flink面试题Flink的重启策略：Flink集群规模Flink集群有哪些角色？各自有什么作用？TODO说说Flink资源管理中TaskSlot
龙鸣丿·2022-02-28 10:50

业务数据采集平台搭建

业务数据采集平台搭建业务数据采集模块业务数据同步概述数据同步策略概述数据同步策略选择数据同步工具概述数据同步工具部署全量表数据同步数据通道DataX配置文件DataX配置文件生成脚本测试生成的DataX配置文件全量表数据同步脚本全量表同步总结增量表数据同步数据通道Maxwell配置Flume配置增量表首日全量同步增量表同步总结数仓环境准备
cpuCode·2022-02-28 10:49

大数据项目实战数仓4——总纲

文章目录一、数据仓库的概述二、项目需求及架构设计1.项目需求分析2.项目框架2.1技术选型2.2系统数据流程设计2.3框架发行版本选型2.4服务器选型2.5集群资源规划设计三、相关命令可视化报表Superset即席查询Kylin集群监控Zabbix全流程调度Azkaban权限管理Ranger元数据管理Atlas四、全流程调度+数据质量可视化一、数据仓库的概述数据仓库（DataWarehouse），
未来影子·2022-02-28 10:17

离线数仓，实时数仓和准实时数仓的相关架构

1，离线数仓主要借助，hive去实现，相关的业务统计，实时也离不开离线2，实时数仓模型，主要借助kafka，flink做些实时查询3，准实时数仓，可能有分钟级的数据延迟，主要借助快速的olap数据库查询
wppwpp1·2022-02-28 09:12

浅谈数仓建设中的分层

01数仓为什么要分层数仓分层的原因也即是分层的好处体现在下面几个方面:1、分层是一种空间换时间的操作。
数据掘金者·2022-02-28 09:42

离线数仓与实时数仓案例

1.数据仓库简介数据仓库是一个面向主题的(SubjectOriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(TimeVariant)的数据集合，用于支持管理决策。数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变的越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术也在不停的发展。数据
weixin_30642029·2022-02-28 09:10

电商离线数仓项目-数仓分层哪几层?/数仓为什么要分层?

电商离线数仓数仓分成哪几层?数仓为什么要分层?电商离线数仓项目中的数仓数仓分成哪几层?1、ODS层（原始数据层）:存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。
梦里Coding·2022-02-28 09:10

大数据实战之离线数仓整体规划

前言大家好，从今天开始，我们将进入到离线数仓项目搭建系列，一来是想对自己所学和实践做一个系统性归纳和结合，二来也是为了给大家多分享一些心得。
菜鸟周星星·2022-02-28 09:10

实时数仓与离线数仓架构对比、Flink消费流程

实时数仓架构图：离线数仓：与离线数仓区别：MySQL业务数据采集改用FlinkCDC;FlinkCDC与Maxwell处理方式和Cannal一样通过监控binlog方式（行级别），而Sqoop是通过MR
养不起心爱的猫该如何是好·2022-02-28 09:39
上一页 49 50 51 52 53 54 55 56 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他