数仓（

谋而后动：解读数仓计划生成中行数估算和路径生成的奥秘

摘要：孙子兵法云：“谋定而后动，知止而有得”，做任何事一定要进行谋划部署，做好准备，这样才能利于这件事的成功，切不可莽撞而行。同样，GaussDB（DWS）执行查询语句也会按照预定的计划来执行，给定硬件环境的情况下，执行的快慢全凭计划的好坏，那么一条查询语句的计划是如何制定的呢，本文将为大家解读计划生成中行数估算和路径生成的奥秘。本文分享自华为云社区《GaussDB（DWS）计划生成原理揭秘（一）
华为云·2021-05-27 10:45

阿里、字节offer收割系列：数据倾斜！（面试真题，建议收藏）

、涉及岗位：主要为大数据开发、数据仓库（桥哥干过的），其它岗位也可参考3、涵盖技术：mysql、hadoop、hive、Spark、Flink、Kudu、Impala等...推荐阅读：★数据仓库专栏：数仓方法论
明月十四桥·2021-05-26 10:33

如何python批量往mysql中插入测试数据

测试数据产品，当前没有数据或者数仓的数据没有同步过来。
PFFstronger·2021-05-25 14:15

阿里、字节offer收割系列：数据倾斜！（面试真题，建议收藏）

、涉及岗位：主要为大数据开发、数据仓库（桥哥干过的），其它岗位也可参考3、涵盖技术：mysql、hadoop、hive、Spark、Flink、Kudu、Impala等...推荐阅读：★数据仓库专栏：数仓方法论
明月十四桥·2021-05-24 12:53

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 19:53

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 18:00

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 16:53

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 15:18

有道精品课实时数据中台建设实践

本文以我们在实时数仓选型的经验为切入点，进一步着重分享使用Doris过程中遇到的问题，以及我们针对这些问题所做出的调整和优化。1背景概述1.1业务场景
youdao·2021-05-21 15:00

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 14:42

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 13:07

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 11:32

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 10:29

详解通过SQL进行分布式死锁的检测与消除

概述分布式数仓应用场景中，我们经常遇到数据库系统hang住的问题，所谓hang是指虽然数据库系统还在运行，但部分或全部业务无法正常执行。
·2021-05-19 17:50

云原生HSAP系统Hologres产品价值解读

主要分享主流实时数仓架构以及其实践的痛点，与云原生HSAP系统创新的价值。演讲嘉宾简介：阿里云计算平台-交互式分析团队产品经理——李姗姗（花名：柔惠）以下内容根据演讲视频以及PPT
阿里云Hologres·2021-05-18 13:48

Flink系列 - 实时数仓之ETL实战（二）

一、概述  上一篇实战中我们已经使用ogg实现了mysql数据以json的格式同步到了kafka里边去了，也就是说我们的源端的埋点的数据已经处理好咯；那么接下来我们就可以使用Flink开始对数据源进行处理计算，当然这里值得一提的是：ogg同步过来的json数据格式是嵌套型的，而且我们的数据不是想普通的网站日志那么简单，因为的源数据是从数据库中过来的-会涉及到增、删、改，因此我们要对刚从源库中过来的
小飞牛_666·2021-05-16 14:08

实时数仓中OLAP的能力要求

实时数仓的传统架构有lambda和Kappa。技术选型上实时计算、消息队列都有解决方案，但是实时数仓也需要一个强大的OLAP，对于OLAP有哪些选择条件，本文做一下分析。
DATACloudWorker·2021-05-16 12:26

深度学习核心技术精讲100篇（三十二）-网易实时数仓实战应用

前言随着大数据技术的进步，各种计算框架的涌现，数据仓库相关技术难题已经从离线数仓逐渐过渡到实时数仓，越来越多的企业对数据的实时性提出了严格的要求，如何满足企业的低延时的数据需求，如何看待批量处理和实时处理的关系
文宇肃然·2021-05-16 06:13

iView树型图Tree增加编辑、新建、删除以及虚线样式

前言今天做数仓需要个树形图，想着本来UI用的就是iView，不想再引入别的插件了，但是iView的Tree组件和产品要求的有些不一样。
ZD717822023·2021-05-14 20:26

mysql+canal+kafka+canal-adapter+ES 搭建实时查询平台

背景：公司订单数据越来越多，因为有海外业务，数据也比较分散，业务查询数据，需要遍历多个库，查询数据慢，需要做一个数仓来统一查询且需要延时控制架构图如下：测试环境，资源有限，没有做canal-server
宋小红帽·2021-05-14 10:53

大数据之旅（二）

二、内容分享：未来我会对大数据开发和数仓建设进行比较详
学而知之@·2021-05-14 01:11

数仓分层模型|简练实用（推荐收藏）

通过阅读本文，可以让你快速了解数仓如何分层，合理，实用。笔者坚持原创，根据实践总结，希望对新手有所帮助。
不务正业的coder·2021-05-13 12:28

Flink+Clickhouse实时数仓在广投集团的最佳实践

Flink+Clickhouse实时数仓在广投集团的最佳实践一、业务背景由于历史原因，大型集团企业往往多个帐套系统共存，包括国内知名ERP厂商浪潮、用友、金蝶、速达所提供的财务系统，集团财务共享中心的财务人员在核对财务凭证数据时经常需要跨多个系统查询且每个系统使用方式不一
Wping_1c08·2021-05-12 10:35

Day17:业务分析：访问与咨询主题

知识点01：回顾知识点02：目标知识点03：访问与咨询业务流程知识点04：访问与咨询需求知识点05：访问与咨询原始数据知识点06：访问数仓设计分析知识点07：修改Hive注释支持中文知识点08：访问ODS
保护胖丁·2021-05-11 22:14

Flink Iceberg 0.11

背景我们在使用Flink+Kafka做实时数仓以及数据传输过程中，遇到了一些问题，Iceberg0.11的新特性解决了这些业务场景，基于Iceberg我们做了一些实践，对比Kafka来说，Iceberg
HideOnBushKi·2021-05-11 17:44

Flink+iceberg环境搭建以及问题处理

受到越来越多公司的青睐，它强大的流批一体的处理能力可以很好地解决流处理和批处理需要构建实时和离线两套处理平台的问题，可以通过一套Flink处理完成，降低成本，Flink结合数据湖的处理方式可以满足我们实时数仓和离线数仓的需求
小小一刀·2021-05-11 10:47

大数据之旅（一）

一、前言：说到大数据、数仓（离线、实时）、OLAP、计算引擎等，相信大家或多或少的都知道些，但我们怎么才能将这些抽象的概念变成自己升职加薪的技能呢，或许在我不断更新的博文中大家可以得到一丝丝帮助。
学而知之@·2021-05-11 00:35

数据仓库面试题集锦（附答案和数仓知识体系）

【数据仓库系列文章-传送门】一篇文章搞懂数据仓库：三种事实表（设计原则，设计方法）https://blog.csdn.net/weixin_39032019/article/details/110635856一篇文章搞懂数据仓库：元数据分类、元数据管理https://blog.csdn.net/weixin_39032019/article/details/112016175一篇文章搞懂数据仓库：
明月十四桥·2021-05-10 16:36

数仓--Theory--缓慢变化维SCD及表设计

业务背景在从OLTP业务数据库向DW数据仓库抽取数据的过程中，特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题：业务数据库中的一些数据发生了更改，到底要不要将这些变化也反映到数据仓库中？在数据仓库中，哪些数据应该随之变化，哪些可以不用变化？考虑到这些变化，在数据仓库中的维度表又应该如何设计以满足这些需要。很显然在业务数据库中数据的变化是非常自然和正常的，比如顾客的联系方式，手机号码等信息可
李小李的路·2021-05-08 18:25

数仓ETL系统：给强大的“心脏”配上“超级流水线”

本文分享自华为云社区《给强大的“心脏”配上“超级流水线”-GaussDB(DWS)数据仓库平台ETL系统建设方案》，原文作者：babu1801。一、前言在数据仓库平台建设过程中，数据的加载、卸载，各层数据模型之间的数据流转，业务规则的实现等等数据加工过程都会以ETL任务的方式实现。构建ETL子系统是数据仓库系统实施的一个非常重要的环节，在仓库平台建设过程中搭建一个完整、标准的ETL子系统是数据仓库
华为云·2021-05-08 13:51

用Airflow调度数仓（CK）的ETL脚本

安装前提：安装了python，我这里是python3下载按照官网：pip3installapache-airflow包太多，下载太慢改为清华的镜像：pip3install-ihttps://pypi.tuna.tsinghua.edu.cn/simpleapache-airflow又有包找不到最后用豆瓣的镜像（注意要加trusted）：pip3installapache-airflow-ihttp
一篮小土·2021-05-06 21:38

数据仓库常见建模方法与大数据领域建模实例综述

大家好，我是云祁，好久不见~今天来和大家聊聊数仓常见的一些建模方法和具体的实例演示，一起来看看吧。一、为什么需要数据建模？在开始今天的话题之前，我们不妨思考下，到底为什么需要进行数据建模？
云 祁·2021-05-05 16:09

电商数据分析——基于hive数仓，实现大数据分析

1.需求以电商数据为基础，结合hive数仓，实现大数据分析。数据源可通过日志取得，数据清洗转换导入数据仓库，通过数仓中数据分析得到数据总结，用于企业决策。
A_Zhong20·2021-05-01 10:25

贝壳基于 Flink 的实时计算演进之路

简介：贝壳找房在实时计算之路上的平台建设以及实时数仓应用。
阿里云开发者·2021-04-30 17:21

送5本数仓项目实战书籍！

点击上方"大数据肌肉猿"关注,星标一起成长后台回复【加群】，进入高质量学习交流群2021年大数据肌肉猿公众号奖励制度文末送书数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的资源合集。它出于分析性报告和决策支持的目的而创建。随着技术的飞速发展，经过多年的数据积累，各互联网公司已保存了海量的原始和各种业务数据，所以数据
无精疯·2021-04-29 11:13

阿里实时数仓分布式事务Scale Out设计

简介：HybridTransactionAnalyticalProcessing(HTAP)是著名信息技术咨询与分析公司Gartner在2014年提出的一个新的数据库系统定义，特指一类兼具OLTP能力（事务能力）和OLAP能力（分析能力）的数据库系统。在传统场景中，承担OLTP任务和OLAP任务的数据库是两个不同的系统。作者|泽贤来源|阿里技术公众号一前言HybridTransactionAnal
阿里云云栖号·2021-04-28 14:54

Redis 大数据量（百亿级）Key存储需求及解决方案

最近我在思考实时数仓问题的时候，想到了巨量的redis的存储的问题，然后翻阅到这篇文章，与各位分享一需求背景该应用场景为DMP缓存存储需求，DMP需要管理非常多的第三方id数据，其中包括各媒体cookie
小热爱·2021-04-28 10:00

贝壳基于 Flink 的实时计算演进之路

简介：贝壳找房在实时计算之路上的平台建设以及实时数仓应用。
阿里云云栖号·2021-04-27 11:41

Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - Sentry 的整合

而Hadoop生态圈中也有一款对应的产品Sentry，它可以细化到Hive/Impala数据库的列粒度，进行权限控制，极大地提升了集群的多租户共享能力，保障了数仓本
大数据之心·2021-04-26 13:10

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。
大数据技术与数仓·2021-04-21 09:04

进击的 Flink：网易云音乐实时数仓建设实践

如何基于Flink的新API升级实时数仓架构？
Flink中文社区·2021-04-20 21:15

数据仓库之Hive快速入门 - 离线&实时数仓架构

数据仓库VS数据库数据仓库的定义:数据仓库是将多个数据源的数据经过ETL（Extract（抽取）、Transform（转换）、Load（加载））理之后，按照一定的主题集成起来提供决策支持和联机分析应用的结构化数据环境数据仓库VS数据库：数据库是面向事务的设计，数据仓库是面向主题设计的数据库一般存储在线交易数据，数据仓库存储的一般是历史数据数据库设计是避免冗余，采用三范式的规则来设计，数据仓库在设计
端碗吹水·2021-04-19 21:59

数据仓库问题

整理的数仓的一些基本问题，不定期更新0x01什么是数据仓库数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合数据仓库是将源系统数据抽取、转化、清洗，存储到维度模型中的系统，为分析决策提供查询
曹操a·2021-04-19 14:29

数仓指标体系建设方法论

指标的基本概念指标体系定义指标体系是将单点的具有相互联系的指标系统化组织起来，主要由指标和体系两部分组成。指标指将业务单元细分后量化的度量值，使得业务目标可描述、可度量、可拆解。指标的分类指标主要分为结果型和过程型：结果型指标:用于衡量用户发生某个动作后所产生的结果，通常是延后知道的，很难进行干预。结果型指标更多的是监控数据异常，或者监控某个场景下用户需求是否被满足。过程型指标:用户在做某个动作的
眼君·2021-04-19 07:08

滴滴基于 Flink 的实时数仓建设实践

简介：随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这
阿里云云栖号·2021-04-19 07:20

实时数仓|Flink SQL之维表join

维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。
大数据技术与数仓·2021-04-19 02:36

Hive数据仓库之权限管理

Hadoop/Hive自带权限控制延续数据仓库之Hive快速入门-离线&实时数仓架构一文，本文将介绍一下Hadoop/Hive自带的权限控制，权限控制是大数据平台非常重要的一部分，关乎数据安全。
端碗吹水·2021-04-18 16:04

Flink 1.11 新特性：流批一体的 Hive 数仓

Flink1.11中流计算结合Hive批处理数仓，给离线数仓带来Flink流处理实时且Exactly-once的能力。另外，Flink1.11完善了Flink自身的Filesystemconne
longLiveData·2021-04-18 01:54

实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例

在某些场景中，比如GROUPBY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将Kafka消息记录的key当成主键处理，用来确定一条数据是应该作为插入、删除还是更新记录来处理。在Flink1.11中，可以通过flink-cdc-connectors项目提供的changelog-jsonformat来实现该功能。关于该功能的使用，见之前的分享Flink1.11中的CDCConnectors操
大数据技术与数仓·2021-04-15 07:32

滴滴基于 Flink 的实时数仓建设实践

1.实时数仓建设目的随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值
Flink中文社区·2021-04-15 04:20
上一页 55 56 57 58 59 60 61 62 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他