数仓（

菜鸟实时数仓2.0进阶之路

简介：供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。
阿里云云栖号·2020-11-24 15:28

Flink系列-实时数仓之Flink实时写入ClickHouse并实时大屏Tableau

整体架构图工具Flink1.11.2Scala2.11Tableau2020.2一、模拟发送数据新建一个类KafkaProducer用来模拟产生消费数据，代码如下:packageTopNitemsimportjava.text.SimpleDateFormatimportjava.time.{LocalTime,ZonedDateTime}importjava.time.format.DateTi
☞空白页·2020-11-24 10:47

数据湖 | 多数据源一站式入湖解决方案

背景数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog增量数据、日志数据以及已有数仓上的存量数据等.数据湖能够将这些不同来源
大数据技术架构·2020-11-23 22:55

数据仓库面试题汇总-数仓-四

目录1.数仓与关系数据库区别？2.数仓为什么需要分层？优缺点？2.1什么是数仓？2.2数据仓库建模的意义，为什么要对数据仓库分层？3.数仓链路很长怎么保证任务有序执行？
wuli玉shell·2020-11-22 20:44

【6w字干货】2020大数据面试题真题总结(附答案)

版本更新时间更新内容v1.02020-07-01新建v1.12020-07-18朋友面试大数据工程师提供的关于架构及数仓方面的题目(智云健康)v1.22020-08-08朋友面试数据专家提供的数据驱动，
简说Python·2020-11-21 19:35

（一）ODS层更新：如果源数据没有“更新时间“字段，如何作增量抽取？我都踩过这些坑

增量抽取，无疑可以提高数仓的数据抽取效率和节省存储空间。
猫有九条命*·2020-11-21 08:52

美团外卖离线数仓建设实践

本文主要介绍美团外卖离线数仓的历史发展历程，在发展过程中碰到的痛点问题，以及针对痛点做的一系列优化解决
dbLenis·2020-11-19 08:00

用户行为分析-埋点实时数仓实践(附用户关联源码)

转自：https://blog.csdn.net/appearb...一、概述埋点采集、用户行为分析、实时数仓、IdMapping此文重点讲述埋点的数据模型、数据格式、数据实时采集、加工、存储及用户关联
ostarsier·2020-11-19 05:12

用户行为分析-埋点实时数仓实践(附用户关联源码)

转自：https://blog.csdn.net/appearb...一、概述埋点采集、用户行为分析、实时数仓、IdMapping此文重点讲述埋点的数据模型、数据格式、数据实时采集、加工、存储及用户关联
ostarsier·2020-11-19 05:56

用户行为分析-埋点实时数仓实践(附用户关联源码)

目录一、概述二、数据模型三、数据格式四、架构图五、动态添加ClickHouse列六、用户关联(IdMapping)七、批量写入八、结束(附用户关联源码)一、概述埋点采集、用户行为分析、实时数仓、IdMapping
xianbin.yang·2020-11-18 21:07

Flink 1.11 与 Hive 批流一体数仓实践

本文主要分享在Flink1.11中对接Hive的新特性，以及如何利用Flink对Hive数仓进行实时化改造，从而实现批流一体的目标。
阿里云云栖号·2020-11-18 11:15

当 TiDB 与 Flink 相结合：高效、易用的实时数仓

简介：利用实时数仓，企业可以实现实时OLAP分析、实时数据看板、实时业务监控、实时数据接口服务等用途。但想到实时数仓，很多人的第一印象就是架构复杂，难以操作与维护。
阿里云云栖号·2020-11-18 11:42

2020大数据面试题真题总结(附答案)

版本更新时间更新内容v1.02020-07-01新建v1.12020-07-18朋友面试大数据工程师提供的关于架构及数仓方面的题目(智云健康)v1.22020-08-08朋友面试数据专家提供的数据驱动，
无精疯·2020-11-18 11:00

Flink 1.11 与 Hive 批流一体数仓实践

本文主要分享在Flink1.11中对接Hive的新特性，以及如何利用Flink对Hive数仓进行实时化改造，从而实现批流一体的目标。
阿里云云栖号·2020-11-18 11:59

当 TiDB 与 Flink 相结合：高效、易用的实时数仓

简介：利用实时数仓，企业可以实现实时OLAP分析、实时数据看板、实时业务监控、实时数据接口服务等用途。但想到实时数仓，很多人的第一印象就是架构复杂，难以操作与维护。
阿里云云栖号·2020-11-18 11:26

“3+3”看华为云FusionInsight如何引领“数据新基建”持续发展

一、数据基建架构全景数据流向显示，左侧的数据源经数据处理（批量、实时流、事件流等）将数据统一汇聚到数据湖或数仓中，通过数据科学或机器学习进行AI分析，通过ADHoc和实时分析为客户或APP提供敏捷的结果数据
华为云开发者社区·2020-11-17 18:52

“3+3”看华为云FusionInsight如何引领“数据新基建”持续发展

一、数据基建架构全景数据流向显示，左侧的数据源经数据处理（批量、实时流、事件流等）将数据统一汇聚到数据湖或数仓中，通过数据科学或机器学习进行AI分析，通过ADHoc和实时分析为客户或APP提供敏捷的结果数据
华为云开发者社区·2020-11-17 17:55

湖仓一体：数据湖vs数据仓库之争？

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？
公众号:肉眼品世界·2020-11-17 00:00

盒马新零售基于DataWorks搭建数据中台的实践

今天的分享内容也来源于另一位嘉宾李启平（首义），他一直是盒马从初创到现在的数据研发负责人，有非常资深的数仓及数据中台建设的经验，之前也是阿里巴巴国际业务的数仓负责人。
阿里云云栖号·2020-11-16 13:21

盒马新零售基于DataWorks搭建数据中台的实践

今天的分享内容也来源于另一位嘉宾李启平（首义），他一直是盒马从初创到现在的数据研发负责人，有非常资深的数仓及数据中台建设的经验，之前也是阿里巴巴国际业务的数仓负责人。
阿里云云栖号·2020-11-16 13:20

【项目】数仓项目（十）

一、数仓搭建-ADS层1.1设备主题1.1.1活跃设备数（日、周、月）需求定义：日活：当日活跃的设备数周活：当周活跃的设备数月活：当月活跃的设备数1）建表语句droptableifexistsads_uv_count
L00918·2020-11-14 15:51

你应该知道的数仓安全——默认权限实现共享schema

摘要：一种典型客户场景是一些用户是数据的生产方，需要在schema中创建表并写入数据；而另一些用户是数据的消费方，读取schema中的数据做分析。使用Alterdefaultprivilege语法可以实现这种共享schema的权限管理问题。通过简单示例演示了Alterdefaultprivilege语法处理这种典型场景的细节和有效性。前言最近遇到一个客户场景，涉及共享schema的权限问题。场景简
华为云开发者社区·2020-11-13 18:08

你应该知道的数仓安全——默认权限实现共享schema

摘要：一种典型客户场景是一些用户是数据的生产方，需要在schema中创建表并写入数据；而另一些用户是数据的消费方，读取schema中的数据做分析。使用Alterdefaultprivilege语法可以实现这种共享schema的权限管理问题。通过简单示例演示了Alterdefaultprivilege语法处理这种典型场景的细节和有效性。前言最近遇到一个客户场景，涉及共享schema的权限问题。场景简
华为云开发者社区·2020-11-13 18:08

云原生实时数仓首次在2020双11核心数据场景落地

简介：这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。背后作为数据核心支撑的大数据平台更是创下新的世界纪录。刚刚结束的2020天猫双11又创下两项新记录：交易额4982亿，订单创建峰值每秒58.3万笔。这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。背
阿里云云栖号·2020-11-13 12:32

Flink 1.11 与 Hive 批流一体数仓实践

本文主要分享在Flink1.11中对接Hive的新特性，以及如何利用Flink对Hive数仓进行实时化改造，从而实现批流一体的目标。
ApacheFlink·2020-11-13 11:23

网易云音乐基于 Flink + Kafka 的实时数仓建设实践

简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍Flink+Kafka在网易云音乐的应用实战：背景Flink+Kafka平台化设计Kafka在实时数仓中的应用问题&改进直播回放
ApacheFlink·2020-11-13 11:53

当 TiDB 与 Flink 相结合：高效、易用的实时数仓

利用实时数仓，企业可以实现实时OLA
ApacheFlink·2020-11-13 11:04

当 TiDB 与 Flink 相结合：高效、易用的实时数仓

作者介绍：齐智@PingCAP随着互联网飞速发展，企业业务种类会越来越多，业务数据量会越来越大，当发展到一定规模时，传统的数据存储结构逐渐无法满足企业需求，实时数据仓库就变成了一个必要的基础服务。以维表Join为例，数据在业务数据源中以范式表的形式存储，在分析时需要做大量的Join操作，降低性能。如果在数据清洗导入过程中就能流式的完成Join，那么分析时就无需再次Join，从而提升查询性能。利用实
PingCAP·2020-11-13 11:19

从 Storm 迁移到 Flink，美团外卖实时数仓建设实践

简介：本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。作者：朱良本文主要介绍一种通用的实时数仓构建的方法与实践。
阿里云云栖号·2020-11-13 11:30

基于Flink+ClickHouse打造轻量级点击流实时数仓

关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
ApacheFlink·2020-11-13 11:38

云原生实时数仓首次在2020双11核心数据场景落地

简介：这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。背后作为数据核心支撑的大数据平台更是创下新的世界纪录。刚刚结束的2020天猫双11又创下两项新记录：交易额4982亿，订单创建峰值每秒58.3万笔。这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。背
阿里云云栖号·2020-11-13 10:46

小打卡基于阿里云构建企业级数仓的实践及总结

简介：本次分享主要有4块内容，小打卡介绍，小打卡数仓场景简介，小打卡数仓选型思路以及代表性案例分享。
阿里云开发者·2020-11-06 20:30

数据仓库——上篇

文章目录一、数仓分层1.1数仓的分层1.1.1ODS(原始数据层)层1.1.2DWD(数据明细层)层1.1.3DWS(数据服务层)1.1.4DWT(数据主题层)1.1.5ADS（数据应用层）1.1.6总结二
平平无奇小码农·2020-11-05 23:13

数据仓库设计与开发-0-数仓建模基础

数仓建模数据仓库建模的意义数据仓库分层的设计两种经典的数据仓库建模方法维度建模关系建模企业建模的三点经验漫谈数据仓库之维度建模-实践转载https://blog.csdn.net/qq_35318838
Xu Kun·2020-11-04 16:24

关于kettle的REST Client组件带cookie(session)的使用

可是之前学习和接触的大部分都是数仓、BI以及一部分简单程序、脚本的编写，所以对restful接口不是很了解（但只是用工具调用的话，不需要太深的了解，只需要知道这是一种可以调用的API接口，实现某种功能就行了
陌离是个呆·2020-10-30 10:48

hive数仓中数据的终点站-可视化报表和即席查询

可视化报表-SupersetApacheSuperset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。1.0Superset安装方法Superset是由Python语言编写的Web应用，要求Python3.6的环境。1.1安装Minicondaconda是一个开源的包、环境管理器，可以用于在同一个机器上安装不
猛肝自然强·2020-10-24 08:08

外卖界的实时数仓建设

导读：本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。
zhoukk1985·2020-10-23 09:09

OPPO 数据中台之基石：基于 Flink SQL 构建实时数据仓库

一.OPPO实时数仓的演进思路本文主要内容如下：OPPO实时数仓的演进思路；基于FlinkSQL的扩展工作；构建实时数仓的应用案例；未来工作的思考和展望。
weixin_42073629·2020-10-23 00:28

数仓建模

大数据项目之电商数仓（用户行为数据采集）数据仓库简介1.什么是数据库数据库（Database）是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。
weixin_46014712·2020-10-16 19:23

电商数仓项目（一）

电商数仓项目(一)一.数据仓库概念1.业务数据就是各行业在处理事务过程中产生的数据。2.用户行为数据用户在使用产品过程中，与客户端产品交互过程中产生的数据。3.数据仓库为企业制定决策，提供数据支持的。
Tang Pangpang·2020-10-15 10:05

数仓架构（离线和实时）--企业版

数仓架构图–企业版1.背景数仓，这是一个并不新颖的词语。在PC时代，就有传统数仓，当时数据一般存放在数据库中，一般是Oracle或者Mysql集群中。
闻香识代码·2020-10-13 23:11

维度数据实时关联的实践（w/ Flink、Vert.x & Guava Cache）

DataEnrichment在流式处理作业（特别是实时数仓ETL作业）中，我们的数据流可以视为无界事实表，其中往往缺乏一些维度信息。
LittleMagic·2020-10-13 15:02

基于Flink+ClickHouse打造轻量级点击流实时数仓

关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。点击流及其维度建模所谓点击流（clickstream），就是指用户访问网站、App等Web前端时
LittleMagic·2020-10-13 15:30

Hive理论基础

数仓特征：面向主题，集成，非易失的，时变。数据仓库是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，不是所谓的“大型数据库”。
但求大数据开发一职·2020-10-10 14:00

Nexmark: 如何设计一个流计算基准测试？

背景随着数据时效性对企业的精细化运营越来越重要，“实时即未来”、“实时数仓”、“数据湖”成为了近几年炙手可热的
ApacheFlink·2020-10-10 01:26

基于 Flink + Hive 构建流批一体准实时数仓

基于Hive的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。
ApacheFlink·2020-10-10 01:26

腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践

当业务发展到一定规模，实时数据仓库是一个必要的基础服务。从数据驱动方面考虑，多维实时数据分析系统的重要性也不言而喻。但是当数据量巨大的情况下，拿腾讯看点来说，一天上报的数据量达到万亿级的规模，要实现极低延迟的实时计算和亚秒级的多维实时查询是有技术挑战的。本文将介绍信息流场景下，腾讯看点的实时数据仓库和多维实时数据分析系统的技术架构。1、可解决的痛点可以先看一下，多维实时数据分析系统可以解决哪些痛点
ApacheFlink·2020-10-10 01:17

社区活动 | Apache Flink Meetup·深圳站，锁定 Flink 最佳实践

9月26日，来自阿里巴巴、英特尔、顺丰、腾讯的四位技术专家与你分享Flink最新企业应用实践，以及与时下热门的数据湖、数仓、社区生态的结合有哪些新进展。活动亮点：独
ApacheFlink·2020-10-10 01:45

基于 Flink + ClickHouse 打造轻量级点击流实时数仓

关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
Ververica·2020-10-09 21:19

基于 Flink + Hive 构建流批一体准实时数仓

简介：想要搭建流式链路就必须得抛弃现有的Hive数仓吗？并不是，借助Flink可以实现已有的Hive离线数仓准实时化。
阿里云云栖号·2020-10-09 13:35
上一页 60 61 62 63 64 65 66 67 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他