实时数仓

Blink 有何特别之处？菜鸟供应链场景最佳实践

阿里妹导读：菜鸟供应链业务链路长、节点多、实体多，使得技术团队在建设供应链实时数仓的过程中，面临着诸多挑战，如：如何实现实时变Key统计？如何实现实时超时统计？如何进行有效地资源优化？
阿里技术_·2020-07-01 17:58

日志系统---从 Spark Streaming 到 Apache Flink：bilibili 实时平台的架构与实践

而且还需要对实时数仓的实时数据进行清洗。此外，bilib
FeelTouch·2020-07-01 09:19

美团点评 Flink 实时数仓应用经验分享

主要内容如下：实时数仓建设目的如何建立实时数仓仓库质量保证实时数仓建设目的解决传统数仓的问题实时数仓是一个很容易让人产生混淆的概念。
木东居士·2020-07-01 07:13

美团点评 Flink 实时数仓应用经验分享

主要内容如下：实时数仓建设目的如何建立实时数仓仓库质量保证Tips：点击「阅读原文」链接可查看作者原版PPT及分享视频～实时数仓建设目的解决传统数仓的问题实时数仓是一个很容易让人产生混淆的概念。
Ververica·2020-07-01 06:50

应用案例 | Blink 有何特别之处？菜鸟供应链场景最佳实践

本文授权转自阿里技术官方公众号（ali_tech）：菜鸟供应链业务链路长、节点多、实体多，使得技术团队在建设供应链实时数仓的过程中，面临着诸多挑战，如：如何实现实时变Key统计？如何实现实时超时统计？
Ververica·2020-07-01 06:50

【实践案例分享】菜鸟实时数仓技术架构演进

分享嘉宾：贾元乔菜鸟高级数据技术专家编辑整理：夏飞飞内容来源：FlinkForwardASIA出品平台：DataFunTalk导读：在开源盛世的今天，实时数仓的建设已经有了较为成熟的方案，技术选型上也都各有优劣
木东居士·2020-06-30 14:37

看完了这篇实时数仓建设，才发现以前的都白看了（内有美团案例）

看来大家还是对数据仓库和大数据平台比较感兴趣，今天就和大家再聊聊怎么做实时数仓吧。实时数仓可谓是决定性的东西，能决定什么？决定你的报表和BI到底能不能实时展现数据。
Leo.yuan·2020-06-30 10:02

美团实时数仓建设

实时数仓和传统数仓的对比实时数仓和传统数仓的对比主要可以从四个方面考虑：●第一个是分层方式，离线数仓为了考虑到效率问题，一般会采取空间换时间的方式，层级划分会比较多；则实时数仓考虑到实时性问题，一般分层会比较少
肥猫64·2020-06-29 17:11

直播 | Delta Lake 如何帮助云用户解决数据实时入库问题

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
weixin_45906054·2020-06-29 16:39

两万字关于数据中台的深度思考与总结

数据中台离线平台实时平台离线数仓与实时数仓数据中台解决方案本文将总结下数据中台的相关理论知识。Flink平台化需要改进的点等等。
肉眼品世界·2020-06-29 16:21

2019云栖大会会议概要

2019云栖大会会议概要[数|智]1.云栖大会核心2.市场与技术发展趋势2.1市场趋势2.2技术趋势3.从阿里技术生态圈看行业方向3.1数字政府架构体系“1+2+2+N”3.2云原生3.3实时数仓3.4
search-lemon·2020-06-29 11:36

基于 Hudi 和 Kylin 构建准实时高性能数据仓库

在近期的ApacheKylin×ApacheHudiMeetup直播上，ApacheKylinPMCChair史少锋和Kyligence解决方案工程师刘永恒就Hudi+Kylin的准实时数仓实现进行了介绍与演示
Kyligence·2020-06-28 21:42

kudu操作

2.速度快，我自己的感觉使用kudu拉取数据流很快，所以kudu定位是实时数仓。3.数据库设
玄尺·2020-06-28 20:04

数据仓库介绍与实时数仓案例

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总PPT见附件1.数据仓库简介数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变的越来越大，
weixin_34391854·2020-06-28 18:18

OPPO 数据中台之基石：基于 Flink SQL 构建实数据仓库

本文主要内容如下：OPPO实时数仓的演进思路；基于FlinkSQL的扩展工作；构建实时数仓的应用案例；未来工作的思考和展望。一.OPPO实时数仓的演进思路1.1.OPPO业务
weixin_33738555·2020-06-28 04:42

视频教程-Flink1.8实时数仓项目实战-大数据

Flink1.8实时数仓项目实战10年一线开发及项目管理经验，6年以上大数据项目架构、实施、开发与运维经验，骨灰级大数据玩家，对Hadoop、Storm、Spark、Flink、Kylin、Druid等大数据技术有较深研究
weixin_33422798·2020-06-28 03:11

你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(下)

在上一章节中，我们讲到实时数仓的建设，互联网大数据技术发展到今天，各个领域基本已经成熟，有各式各样的解决方案可以供我们选择。
weixin_30726161·2020-06-28 00:17

你需要的不是实时数仓 | 你需要的是一款合适且强大的OLAP数据库(上)

前言今年有个现象，实时数仓建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库的文章和方案。但是对于实时数仓的狂热追求大可不必。
weixin_30726161·2020-06-28 00:17

实时数仓 | 你需要的是一款强大的 OLAP 引擎

在开源盛世的今天，实时数仓的建设业界已经有了成熟的方案。技术选型上实时计算、消息队列都有最优解，唯独在OLAP领域，百家争鸣，各有所长。
GitChat的博客·2020-06-27 10:28

Debezium:数据实时采集从Postgresql到Kafka

目的：构建基于hbase的实时数仓解决的问题：RDBMS到Hbase的数据实时采集方法：Postgresql----->Debezium----->Kafka------>Sparkstreaming-
TracyGao01·2020-06-27 04:24

Debezium:kafka 连接器配置

目的：构建基于hbase的实时数仓解决的问题：RDBMS到Hbase的数据实时采集方法：Postgresql----->Debezium----->Kafka------>Sparkstreaming-
TracyGao01·2020-06-27 04:52

Flink实时数仓---1，Flink SQL读取kafka实操，已经遇到的问题.....持续更新吧

1，第一步很重要就是依赖的问题，因为是本地执行，所以最好有hadoop配置环境，没有的话会提示错误信息，自己百度一下，自己下载个winutils.exe，然后配置环境变量2，为了图方便直接贴上pom文件依赖（自己看哈，就是hive跟hadoop的依赖）：4.0.0pijiuyaFlinkExample1.0-SNAPSHOT1.10.0org.apache.flinkflink-java${fli
黄瓜炖啤酒鸭·2020-06-25 05:32

实时数仓和离线数仓

2.数仓和数据库的区别3.大数据技术栈4.数仓的分层5.离线数仓架构和实时数仓架构离线数仓架构实时数仓架构对比6.数仓架构发展Lambda架构Kappa架构7.实时数仓建设案例8.实时数仓建设1.什么是大数据平台
大数据AI笔记·2020-06-25 04:58

上海久耶基于 HBase 实时数仓探索实践

文章从六个方面介绍，首先是久耶第一代离线数仓以及第二代实时数仓。接下来介绍下公司业务场景和业务开发，基于HBase的开发流程，然后公司CDH集群调优监控，最后分享两个生产案例。
qianshanding0708·2020-06-24 21:10

Flink 1.10 SQL、HiveCatalog与事件时间整合示例

这两点将会为我们构建实时数仓提供很大的便利。添加依赖项示例采用Hive版本为1.1.0，K
LittleMagics·2020-06-24 16:04

Flink rocksdb如何做checkpoint

最近在做实时数仓的过程中遇到了一些问题，于是有了这篇博客。
shengjk1·2020-06-23 23:29

艾编程视频教程：海量数据场景下的kafka实时数仓解决方案

【学完本节课你将掌握哪些点】1.实时数仓的架构设计(实时落地数据到HDFS的解决方案);2.Kafka在众多MQ的定位；3.生产级别Kafka集群搭建；4.在Kafka中严格控制消息顺序；5.在Kafka
icodingedu·2020-06-23 17:19

美团点评基于 Flink 的实时数仓平台实践

摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而Flink实时数仓在数据链路中扮演着极为重要的角色。
fuyipingwml1976124·2020-06-23 09:07

奈学教育《大数据开发工程师》课程大纲

数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用真实的企业级实时数仓项目
zsfz_053·2020-06-22 17:43

用 Flink 取代 Spark Streaming，知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
360linker·2020-06-22 17:47

跨境电商 Shopee 的实时数仓之路

作者：黄良辉本文讲述Flink在Shopee新加坡数据组（ShopeeSingaporeDataTeam）的应用实践，主要内容包括：实时数仓建设背景Flink在实时数据数仓建设中结合Druid、Hive
ApacheFlink·2020-06-21 03:05

周末直播|Flink、Hologres、AI等热门话题全都安排！

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
ApacheFlink·2020-06-21 02:25

维度数据实时关联的实践（w/ Flink、Vert.x & Guava Cache） - 简书

DataEnrichment在流式处理作业（特别是实时数仓ETL作业）中，我们的数据流可以视为无界事实表，其中往往缺乏一些维度信息。
·2020-06-07 21:00

Flink 1.10 SQL、HiveCatalog 与事件时间整合示例

这两点将会为我们构建实时数仓提供很大的便利。添加依赖项示例采用Hive版本为1.1.0，Kaf
ApacheFlink·2020-06-04 01:34

回顾 | Apache Flink Meetup 杭州站圆满结束（附PPT下载）

本次Meetup邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时数仓、1.10生产环境实践、Flink分布式同步工具以及Flink在AI流程中的应用。
ApacheFlink·2020-05-28 00:38

实时数仓、1.10生产实践、AI 都来了，2020 首场 Flink 社区 Meetup，可！

好久不见，2020你们心心念念的Meetup重磅回归啦！从二月到现在小松鼠收到诸多关于Meetup的咨询和大家的一些心声，比如：“2020Meetup还有吗？什么时候办？”“有没有1.10的生产环境实践，我想下手又犹豫不决”“最近假期宅在家不能出门太无聊了，你们要不要搞点活动”“作为Flink发烧友，没T恤不专业！我什么时候能拿到？”▼满足大家的心愿，机会来了！▼5月16日，2020首场Meetu
ApacheFlink·2020-05-27 23:39

Kafka Connect For MySQL 实现增量数据同步

前言最近公司需要搭建基于Flink框架的实时数仓，为了保证数仓的稳定性，决定引用消息中间件Kafka。Kafka的作用在于"削峰填谷"，所谓的“削峰填谷”就是指缓冲上下游瞬时突发流量，使其更平滑。
aochong·2020-05-13 09:23

Canal + Kafka 实现 MySQL 的 binlog 近实时同步

因为笔者目前工作重心在于搭建一个小型的实时数仓。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另
aochong·2020-05-12 17:18

数据仓库介绍与实时数仓案例

1.数据仓库简介数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变的越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术也在不停的发展。数据
阿里云云栖号·2020-04-08 19:25

干货来了！阿里发布近300页Flink实战电子书

《ApacheFlink电子书合辑》收录来自bilibili、美团点评、小米、OPPO、快手、Lyft、Netflix等一线大厂实时计算平台及实时数仓实践案例，更有来自阿里巴巴及ApacheFlink核心贡献者们一线实战经验总结
实时计算·2020-04-06 19:26

OPPO基于Apache Flink的实时数仓实践

OPPO基于ApacheFlink构建实时数仓，在数据规模上单日总数据处理量超10万亿，峰值大概超过每秒3亿。
OPPO互联网技术·2020-04-06 18:15

干货来了！阿里发布近300页Flink实战电子书

《ApacheFlink电子书合辑》收录来自bilibili、美团点评、小米、OPPO、快手、Lyft、Netflix等一线大厂实时计算平台及实时数仓实践案例，更有来自阿里巴巴及ApacheFlink核心贡献者们一线实战经验总结
独孤风·2020-03-31 10:00

如果你也想做实时数仓…

本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。
Flink中文社区·2020-03-26 05:26

建设实时数仓之前的思考与方案记录

前言随着这次新冠疫情带来的机遇，我司业务飞速增长，实时数仓的建设已经提上了日程。虽然还没有正式开始实施，但是汲取前人的经验，做好万全的准备总是必要的。
LittleMagic·2020-03-21 18:13

实时数仓建设

随着近些年大数据相关技术的飞速发展，数据的在助力业务的发展方面越发重要；数据仓库为企业的决策提供所有数据类型支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。基于hive的离线数据仓库模型已经发展了很多年，市面的优秀参考实践已比较多，但是数据本身的价值随着时间的流逝逐步减弱，因此在数据发生后必须尽快的达到
liujianhuiouc·2020-03-10 20:34

首发｜《Apache Flink 年度最佳实践》，揭秘一线大厂实时平台构建实践

甄选ApacheFlink及大数据领域顶级盛会FlinkForwardAsia大会嘉宾精彩分享，覆盖国内外一线大厂实时平台构建的经验分享与实时数仓的应用实践，为你揭秘实时计算平台从无到有到有、持续优化的详细细节
ApacheFlink·2020-02-20 23:47

Flink 实时数仓-思考与总结

1，什么是Flink实时数仓。大家做离线开发是的时候数据存储在hdfs或者hive，基于此，不管用什么组件，数据源都是hive，然后定时执行脚本，跑离线任务啥的。
黄瓜炖啤酒鸭·2020-02-12 22:56

HyPer: A Hybrid OLTP&OLAP Main Memory Database System Based on Virtual Memory Snapshots

HyPer也是内存数据库传统数据库基本都是TP，后续出现BI的需求，即AP的需求，传统数据库满足不了所以出现了数仓，但是需要ETL把TP的数据同步到数仓中，进行AP哪怕基于列存的实时数仓，也要针对Tp和
fxjwind·2020-01-17 20:00

美团点评基于 Flink 的实时数仓平台实践

数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而Flink实时数仓在数据链路中扮演着极为重要的角色。
ApacheFlink·2020-01-10 21:18

美团点评基于 Flink 的实时数仓平台实践

一、美团点评实时计算演进美团点评实时计算演进历程在2016年，美团点评就已经基于Storm实时计算引擎实现了初步的平台化。2017年初，我们引入了SparkStreaming用于特定场景的支持，主要是在数据同步场景方面的尝试。在2017年底，美团点评实时计算平台引入了Flink。相比于Storm和SparkStreaming，Flink在很多方面都具有优势。这个阶段我们进行了深度的平台化，主要关注
阿里云云栖号·2020-01-04 10:53
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他