数仓（

尚硅谷大数据项目数据仓库,电商数仓V1.2新版

尚硅谷大数据项目数据仓库,电商数仓V1.2新版数据仓库DataWareHouse为企业所有决策制定过程，提供所有系统数据支持的战略集合。
namehao465·2021-04-15 04:22

Hologres+Flink 流批一体首次落地4982亿背后的营销分析大屏

概要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（下称Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。
阿里云技术·2021-04-14 21:02

壮实学数据技术05：数据调度

很高兴和大家又一次相聚在周六的早上～在上节《壮实学数据技术04:ETL》中，我们讨论了数仓开发，今天我们衔接一下，讲讲数据加工处理、数据报表生产必不可少的一环：数据调度。01什么是数据调度？
一个数据人的自留地·2021-04-14 20:23

大数据入门：大数据数据仓库主流选择

数据仓库的概念，最早是在1991年被提出，而直到最近几年的大数据趋势下，实时数据处理快速发展，使得数据仓库技术架构不断向前，出现了实时数仓，而实时数仓又分为批数据+流数据、批流一体两
成都加米谷大数据·2021-04-13 21:49

新一代Hologres实时数仓大揭秘

看支撑阿里内外部业务场景实时数仓是如何运作的？云计算情报局带您解密实时数仓！作者：金晓军（仙隐），阿里云资深技术专家，大数据领域从业10年，现从事交互式分析引擎Hologres设计与研发工作。
·2021-04-13 14:49

新一代Hologres实时数仓大揭秘

看支撑阿里内外部业务场景实时数仓是如何运作的？云计算情报局带您解密实时数仓！作者：金晓军（仙隐），阿里云资深技术专家，大数据领域从业10年，现从事交互式分析引擎Hologres设计与研发工作。
·2021-04-13 13:50

Hive企业级性能优化（好文建议收藏）

但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建出一个完美的数仓，所以Hive性能调优是我们大数据从业者必须掌握的技能。本文将给大家讲解Hive性能调优的一些方法及技巧。
五分钟学大数据·2021-04-13 11:21

大数据平台 - 数据采集及治理

数据源是整个大数据平台的上游，数据采集是数据源与数仓之间的管道。在采集过程中针对业务场景对数据进行治理，完成数据清洗工作。
端碗吹水·2021-04-13 11:55

Flink系列 - 实时数仓之统计数据并入redis实战（七）

  有时候，wordcount的案例的原理还真是好用，当然不过单单是从官网复制的案例远远是不满足我们的平时需求的。那么假如我们如下需求：1.以天为单位，统计各个部门在每小时中销售的商品数量，并以日期为组合键实时的将结果放入redis中去。注意：这个需求有点坑爹，如果我们以普通的滚动和滑动窗口去实现是不会满足要求的，需求人员说至少1s计算一次。数据源如下：{"id":"399","name":"fe
小飞牛_666·2021-04-13 09:37

通俗易懂数仓建模—Inmon范式建模与Kimball维度建模

在数据仓库领域，有两位大师，一位是“数据仓库”之父BillInmon，一位是数据仓库权威专家RalphKimball，两位大师每人都有一本经典著作，Inmon大师著作《数据仓库》及Kimball大师的《数仓工具箱
·2021-04-12 21:07

通俗易懂数仓建模—Inmon范式建模与Kimball维度建模

在数据仓库领域，有两位大师，一位是“数据仓库”之父BillInmon，一位是数据仓库权威专家RalphKimball，两位大师每人都有一本经典著作，Inmon大师著作《数据仓库》及Kimball大师的《数仓工具箱
·2021-04-12 21:16

你的数仓函数结果不稳定，可能是属性指定错了

摘要：本文简单介绍GaussDB(DWS)函数下推属性的相关知识，并提供几个函数属性相关的典型案例供大家参考。本文分享自华为云社区《GaussDB(DWS)函数下推属性介绍》，原文作者：Arrow0lf。用户在使用GaussDB(DWS)时，应该正确指定函数属性，错误指定函数属性不仅会导致查询语句执行效率低，而且可能会导致结果集不稳定的情况。本文简单介绍GaussDB(DWS)函数下推属性的相关知
·2021-04-12 16:58

你的数仓函数结果不稳定，可能是属性指定错了

摘要：本文简单介绍GaussDB(DWS)函数下推属性的相关知识，并提供几个函数属性相关的典型案例供大家参考。本文分享自华为云社区《GaussDB(DWS)函数下推属性介绍》，原文作者：Arrow0lf。用户在使用GaussDB(DWS)时，应该正确指定函数属性，错误指定函数属性不仅会导致查询语句执行效率低，而且可能会导致结果集不稳定的情况。本文简单介绍GaussDB(DWS)函数下推属性的相关知
·2021-04-12 16:57

Hive数仓拉链表原理

一、拉链表原理1、引入在数据仓库的数据模型设计过程中，经常会遇到这样的需求：（1）数据量比较大。（2）表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等。（3）需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态。（4）查看某一个用户在过去某一段时间内，更新过几次等等。（5）变化的比例和频率不是很大，比如，总共有1000万的会员，每天
·2021-04-08 19:42

Hive数仓拉链表原理

一、拉链表原理1、引入在数据仓库的数据模型设计过程中，经常会遇到这样的需求：（1）数据量比较大。（2）表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等。（3）需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态。（4）查看某一个用户在过去某一段时间内，更新过几次等等。（5）变化的比例和频率不是很大，比如，总共有1000万的会员，每天
·2021-04-08 18:39

通俗易懂数仓建模—Inmon范式建模与Kimball维度建模

在数据仓库领域，有两位大师，一位是“数据仓库”之父BillInmon，一位是数据仓库权威专家RalphKimball，两位大师每人都有一本经典著作，Inmon大师著作《数据仓库》及Kimball大师的《数仓工具箱
五分钟学大数据·2021-04-08 14:29

活动 | Apache Pulsar Meetup 欢迎报名

ApachePulsarPMC成员、StreamNativeCTO翟佳有道精品课实时数仓负责人李荣谦等多位业内实践者将带来精彩的分享时间：2021年3月27日13:30-17:30地点：网易北京研发中心
·2021-04-08 13:15

Apache Iceberg 数据湖从入门到放弃(0) —— 初步入门三部曲

数据处理现状：当前基于Hive的离线数据仓库已经非常成熟，数据中台体系也基本上是围绕离线数仓进行建设。
黄瓜炖啤酒鸭·2021-04-08 09:11

ClickHouse性能优化？试试物化视图

一、前言ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)；目前我们使用CH作为实时数仓用于统计分析，在做性能优化的时候使用了物化视图这一特性作为优化手段，本文主要分享物化视图的特性与如何使用它来优化
·2021-04-07 10:45

ClickHouse性能优化？试试物化视图

一、前言ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)；目前我们使用CH作为实时数仓用于统计分析，在做性能优化的时候使用了物化视图这一特性作为优化手段，本文主要分享物化视图的特性与如何使用它来优化
·2021-04-07 10:26

数据调度组件：基于Azkaban协调时序任务执行

大致执行顺序如下：业务日志文件同步到HDFS文件系统；经过Hadoop执行分析计算过程；结果数据在导入数仓进行存储；最终需要把数仓内数据同步到业务库；这样的流程不必业务中
·2021-04-05 11:02

如何0-1设计数据仓库！大数据开发工程师必备

原文地址：https://mp.weixin.qq.com/s/T3eNGhixOwQJqfbrsdXBcw目录模型设计流程业务建模领域建模逻辑建模物理建模模型设计流程业务建模：梳理业务流程领域建模：数仓分域
菜鸟也学大数据·2021-04-03 17:56

数据仓库的核心要点

数仓是面向分析型的，主要集中在数据的ETL、数仓模型的建立、数据治理
闻风-堡·2021-04-02 11:47

实时数据仓库的发展、架构和趋势

当前基于Hive的离线数据仓库已经非常成熟，数据中台体系也基本上是围绕离线数仓进行建设。
NetEaseResearch·2021-04-02 09:25

数仓的建模和BI的建模有啥区别？ by彭文华

BI（商务智能）的概念里本来就包含数据仓库的，BI的建模和数仓的建模有啥区别？不是一个东西么？你莫不是新新新新新新来的吧？嗯，没错，BI的确包含数仓，但是BI产品就不含数仓了
·2021-04-01 12:01

数仓与数仓建模

其实这个说法其实是不严谨的，过于片面，两方面，一是这个概念说为企业提供，查了一下，其实企业是以盈利为目的的，有一个新闻，上海社区利用独居老人家的智能水表和开关门等数据来判断独居老人在家是否有危险，这个案例项目也会用到数仓
冷月回首·2021-03-31 10:33

强劲表现者——阿里云云原生数据仓库AnalyticDB

以“AnalyticDB”为核心代表之一的阿里云数据仓库创造了国内数仓产品在该榜单的最好成绩，进入“强劲表现者（StrongPerformers）”象限，代表了业界权威机构对A
·2021-03-30 17:10

强劲表现者——阿里云云原生数据仓库AnalyticDB

以“AnalyticDB”为核心代表之一的阿里云数据仓库创造了国内数仓产品在该榜单的最好成绩，进入“强劲表现者（StrongPerformers）”象限，代表了业界权威机构对A
·2021-03-30 17:10

数据调度组件：基于Azkaban协调时序任务执行

大致执行顺序如下：业务日志文件同步到HDFS文件系统；经过Hadoop执行分析计算过程；结果数据在导入数仓进行存储；最终需要把数仓内数据同步到业务库；这样的流程不必业务中
·2021-03-30 11:43

大数据数仓从入门到精通

数仓架构详解数仓项目开发的流程业务建模：需求分析领域建模：设计部分的概要设计逻辑建模：设计部分的详情设计（表名、字段、字段的类型、关联关系）。
风满楼i·2021-03-29 21:53

可扩展数据仓库架构维度

可扩展的数仓架构今天的数据仓库系统使得分析师可以很容易地访问集成的数据。为了实现这一点，数据仓库开发团队必须根据用户的需求对数据进行处理和建模。
·2021-03-28 20:18

可扩展数据仓库架构维度

可扩展的数仓架构今天的数据仓库系统使得分析师可以很容易地访问集成的数据。为了实现这一点，数据仓库开发团队必须根据用户的需求对数据进行处理和建模。
·2021-03-28 20:04

数据仓库架构

两层数仓架构Kimball引入了一种常用的双层结构。在这个架构中(如图1.3所示)，数据仓库系统本身只有两层。图1.3两层数仓架构来自源系统的原始数据被加载到集结区。
·2021-03-27 23:56

数据仓库架构

两层数仓架构Kimball引入了一种常用的双层结构。在这个架构中(如图1.3所示)，数据仓库系统本身只有两层。图1.3两层数仓架构来自源系统的原始数据被加载到集结区。
·2021-03-27 22:40

数据加密：你应该知道的数仓安全

作为信息系统的核心，GaussDB(DWS)数仓也提供数据加密功能，包括透明加密和使用SQL函数加密。本文分享自华为云社区《你应该知道的数仓安全——加密函数》，原文作者：zhangkunhn。
·2021-03-27 17:29

如何建设数仓

第一步：调研1、业务调研：与业务人员座谈，梳理业务过程，输出业务流程图及初步划分出dwd层的主题域2、需求调研：梳理过去、现在及将来的数据需求和BI需求，输出数仓app层主题域3、数据调研：获取每个数据源
xuanxing123·2021-03-22 09:24

数仓已死？数据湖当立

也有大厂的数仓大佬高屋建瓴，指点江山，侃侃而谈。为啥吐槽？因为我们知道，这再也不是以前数据至上、工程为先的俄罗斯方块游戏了，而是客户至上、业务为先的神庙逃亡游戏。
·2021-03-19 00:00

数仓集群管理：单节点故障RTO机制分析

摘要：大规模分布式系统中的故障无法避免。发生单点故障时，集群状态和业务是如何恢复的？本文分享自华为云社区《GaussDB(DWS)集群管理系列：单节点故障RTO机制分析（集群状态恢复篇）》，原文作者：CloudGanker。一、前言GaussDB(DWS)产品采用分布式架构设计。集群管理（高可用）需要在稳定性和灵敏性之间做好平衡。集群发生单节点故障（如宕机、断网、下电等）时，端到端业务恢复的RTO
·2021-03-18 13:02

数仓集群管理：单节点故障RTO机制分析

摘要：大规模分布式系统中的故障无法避免。发生单点故障时，集群状态和业务是如何恢复的？本文分享自华为云社区《GaussDB(DWS)集群管理系列：单节点故障RTO机制分析（集群状态恢复篇）》，原文作者：CloudGanker。一、前言GaussDB(DWS)产品采用分布式架构设计。集群管理（高可用）需要在稳定性和灵敏性之间做好平衡。集群发生单节点故障（如宕机、断网、下电等）时，端到端业务恢复的RTO
·2021-03-18 12:01

有道精品课实时数据中台建设实践

本文以我们在实时数仓选型的经验为切入点，进一步着重分享使用Doris过程中遇到的问题，以及我们针对这些问题所做出的调整和优化。1背景概述1.1业务场景
有道技术团队·2021-03-18 10:38

数仓入门基础-1-漫谈数仓

从传统数仓到互联网数仓，有很多相似点也有很多不同点，有大佬曾
乌拉乌拉儿·2021-03-18 10:50

数仓入门基础-4-事实表与维度表

事实表，发生在现实世界中操作型时间，其产生的可度量数值，存储在事实表中，例如交易订单表。一般有以下几种事实特性：1.可加、半可加、不可加事实。可加，例如pv(点击量)；半可加，例如数值差额，uv(用户量)；不可加，例如比率。2.NULL值处理。可以存在空值度量，但是外键不能存在空值，须用默认行而不是空值外键表示未知的或无法应用的条件。3.事实一致性。不同事实表中的事实，应保证事实的定义是相同的，且
乌拉乌拉儿·2021-03-18 10:11

通过AWS EMR降低集群计算成本

2.架构演进2.1技术栈计算框架Spark调度框架Airflow数据存储Hadoop，Mysql数仓工具Hi
·2021-03-16 17:50

数仓的建模和BI的建模有啥区别？ by彭文华

BI（商务智能）的概念里本来就包含数据仓库的，BI的建模和数仓的建模有啥区别？不是一个东西么？你莫不是新新新新新新来的吧？嗯，没错，BI的确包含数仓，但是BI产品就不含数仓了
·2021-03-16 11:02

Flink系列 - 实时数仓之数据入ElasticSearch实战（九）

  我们实时的流处理入ElasticSearch中还是比较麻烦的，虽然说flink提供了相关的sink接口，但是一般来说仅仅是简单的将数据插入而已，对于优化以及使用用户名和密码登录操作的话，不管官网还是网上，写得零零碎碎的，对于大佬来说可以拼接起来再用，但是对于像我这种菜鸟来说，那简直是看天书一样，一愣一愣的。今天写这个案例主要是项目中涉及了这个需求，废了半条命终于整理出来了，现在做个总结，以便避
小飞牛_666·2021-03-14 21:43

网易云音乐数仓维度建模实践：模型设计篇

数仓模型架构搭建、模型设计是整个数仓建设的核心部分。数仓建模的价值体现在：数据质量、健壮水平、资源消耗、服务响应速度。
·2021-03-13 00:00

数据批量上云方案

包括一直以来的数仓、数据湖、湖仓一体，其中的第一步都是数据汇集。
·2021-03-12 06:17

美团优选大数据开发岗面试真题-附答案详细解析

以下为面试过程中提问，岗位为大数据开发，根据提问内容看出，主要偏数仓方向自我介绍到北京工作的意
·2021-03-11 08:46

美团优选大数据开发岗面试真题-附答案详细解析

以下为面试过程中提问，岗位为大数据开发，根据提问内容看出，主要偏数仓方向自我介绍到北京工作的意
·2021-03-11 08:28

某大厂大数据开发工程师（偏数据仓库）社招面经

3、数据仓库分层思想，可以结合自己公司数仓的情况。ods-dwd/dws-dm，每一层大致介绍一下作用是什么。最后说一下这么分层的好处。4、有没有听过cube表。5、事务性数
FengYuxin0706·2021-03-11 00:43
上一页 56 57 58 59 60 61 62 63 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他