实时数仓

数据仓库介绍与实时数仓案例

1.数据仓库简介数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变的越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术也在不停的发展。数据
taskctl2012·2020-08-04 16:00

奈学教育《大数据开发工程师》课程大纲

数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用真实的企业级实时数仓项目
naixuejiaoyu·2020-08-03 20:59

应用案例 | 美团点评基于 Flink 的实时数仓建设实践

本文是美团技术团队分享的美团点评基于Flink的实时数仓建设实践，ApacheFlink社区公众号（Ververica）授权转载，文章主要从常见实时数据组件的性能特点和适用场景以及美团通过Flink构建实时数据仓库的过程分享其经验
weixin_33924312·2020-08-02 14:29

云原生HSAP系统Hologres产品价值解读

主要分享主流实时数仓架构以及其实践的痛点，与云原生HSAP系统创新的价值。演讲嘉宾简介：阿里云计算平台-交互式分析团队产品经理——李姗姗（花名：柔惠）以下内容根据演讲视频以及PPT
阿里云hologres·2020-08-01 11:10

一套 SQL 搞定数据仓库？Flink有了新尝试

业务要求低延时的使用实时数仓；业务复杂的使用离线数仓。架构十分复杂，需要使用很多系统和计算框架，这就要求企业储备多方面的人才，导致人才成本较高，且出了问题难
Ververica·2020-08-01 06:06

基于Apache Iceberg打造T+0实时数仓

为了同时满足大数据量和高时效性的双重要求，实时数仓和在线交互式（ad-hoc
过往记忆·2020-08-01 02:18

基于Flink构建实时数据仓库

本文从OPPO实时数仓的演进之路，基于FlinkSQL的扩展工作，构建实时数仓的应用案例，未来工作的思考和展望4个方面介绍了OPPO基于Flink构建实时数仓的经验和未来的规划。
大数据技术与架构·2020-08-01 02:42

【实时数仓篇】（04）利用 Flink 实现实时状态复用场景

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句[云之祁祁，或雨于渊]，甚是喜欢。写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发感兴趣，可以关注我的动态https://blog.csdn.net/BeiisBei，让我们一起挖掘
云 祁·2020-07-31 13:12

基于阿里云的数据仓库架构设计

文章目录基于阿里云的数据仓库架构设计产品对比离线数仓实时数仓数仓规范基于阿里云的数据仓库架构设计产品对比阿里云产品同类产品简介RDSMySQL、PostgreSQL关系型数据库服务，是阿里提供的云数据库
蒋含竹·2020-07-30 14:56

大数据技术之实时数仓环境准备

大数据技术之实时数仓版本：V1.0第1章环境准备1.1虚拟机准备克隆三台虚拟机（hadoop101、hadoop102、hadoop103），配置好对应主机的网络IP、主机名称、关闭防火墙。
小小花生酱·2020-07-29 15:59

阿里云实时数仓AnalyticDB PG

目的随着数字经济时代的到来，越来越多的应用依赖数据分析来挖掘数据的价值。作为大数据存储、在线分析的重要基础系统，分析型数据库（OLAP）为数据价值的在线化提供重要的技术平台。阿里巴巴OLAP团队经过调研发现，现有的OLAP数据库执行引擎往往是在已有的OLTP执行引擎的基础之上，进行二次开发而来，存在性能损耗大、历史包袱重、未充分利用最新优化技术、未充分发挥新硬件优势等问题。随着数据量的快速增长和数
阿里云云栖号·2020-07-29 02:57

高性能实时数仓建设(四):模拟数据代码

packagecom.zyd.billondataCollect;importcom.alibaba.fastjson.JSONObject;importcom.zyd.input.app.AppProductLog;importjava.io.InputStream;importjava.io.OutputStream;importjava.net.HttpURLConnection;impor
_张不帅·2020-07-29 00:20

高性能实时数仓建设(五):FLUME读取kafka数据推送hdfs上

文章目录a1.sources=s1a1.channels=c1a1.sinks=s1a1.sources.s1.type=org.apache.flume.source.kafka.KafkaSourcea1.sources.s1.zookeeperConnect=192.168.18.100:2181,192.168.18.101:2181,192.168.18.102:2181a1.sourc
_张不帅·2020-07-29 00:20

阿里云PB级实时数仓建设

摘要如今，数据和分析对于企业来说是不可或缺的。很多企业的数据工程师、数据分析师和开发人员都希望将数据仓库迁移到云上，以提高性能和降低成本。本文讨论了实现实时数据仓库的必要性和实时数据模型，介绍了基于AnalyticDB构建阿里云实时数据仓库解决方案的方法和优势。为什么构建数据仓库为什么要构建数据仓库，而不是直接在OLTP数据库上运行分析查询？为了回答这个问题，我们先来看下数据仓库与OLTP数据库之
weixin_34116110·2020-07-28 18:02

美团点评基于 Flink 的实时数仓平台实践

摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而Flink实时数仓在数据链路中扮演着极为重要的角色。
大数据技术之路---花火·2020-07-28 07:25

系列 | 实时数仓实践第二篇NO.2『数据质量』

点击上方蓝色字体，置顶/星标哦目前10000+人已关注加入我们作者author诸葛子房，现就职于一线互联网公司，中国Hbase技术社区委员，从事大数据相关工作。了解互联网、大数据，一直在努力的路上。对于一个实时数据产品人员、或者开发人员来说，产品上展示的实时数据，pv、uv、gmv等等，怎么知道这些数据是不是正确的呢？当其他的小组开发的产品的数据(或者其他的数据提供方)又是另外一个数字，那么究竟该
仙子紫霞·2020-07-28 03:59

系列 | 实时数仓实践第一篇NO.1『宽表处理』

一、实时数仓和离线数仓由于离线数仓每天凌晨拉去线上生成数据库(凌晨请求较少，减少线上库压力)，导致数据是T+1，而对于一些时效性要求较强的场景。比如需要看现在的用户数、GMV等等，离线方案就很难解决了
仙子紫霞·2020-07-28 03:59

Apache Flink 任意 Jar 包上传致 RCE 漏洞复现

l实时推荐系统l实时报表l实时数仓与ETLl复杂事件处理l实时欺诈与实时信用评估l大数据安全监测Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据
东塔安全学院·2020-07-28 03:07

美团点评 Flink 实时数仓应用经验分享

实时数仓建设目的解决传统数仓的问题实时数仓是一个很容易让人产生混淆的概念。实时数仓本身似乎和把PPT黑色的背景变得更白一样，从传统的经验来讲，我们认为数仓有一个很重要的功能，即能够记录历史。
ApacheFlink·2020-07-27 17:22

进击的 Flink：网易云音乐实时数仓建设实践

如何基于Flink的新API升级实时数仓架构？
ApacheFlink·2020-07-27 17:31

【实时数仓篇】（02）基于 Flink 的典型 ETL 场景实现

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句[云之祁祁，或雨于渊]，甚是喜欢。写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发感兴趣，可以关注我的动态https://blog.csdn.net/BeiisBei，让我们一起挖掘
云 祁·2020-07-27 14:40

【实时数仓篇】（01）美团 Flink 实时数仓应用

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句[云之祁祁，或雨于渊]，甚是喜欢。写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发感兴趣，可以关注我的动态https://blog.csdn.net/BeiisBei，让我们一起挖掘
云 祁·2020-07-27 14:40

阿里云PB级实时数仓AnalyticDB通用解决方案解析

阿里云PB级实时数仓AnalyticDB通用解决方案解析摘要：大数据上云特惠活动系列直播，阿里巴巴技术部悦畅对PB级实时数仓AnalyticDB通用解决方案进行解析。
SimminonGarcia·2020-07-27 13:12

Apache Flink 任意 Jar 包上传致 RCE 漏洞复现

实时推荐系统实时报表实时数仓与ETL复杂事件处理实时欺诈与实时信用评估大数据安全监测Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据
东塔安全·2020-07-15 14:19

大数据/数仓面试灵魂30问（转）

8.实时数仓做过吗？采用什么架构？lambda有哪些优
颹蕭蕭·2020-07-14 12:08

AnalyticDB for PostgreSQL 6.0 新特性介绍

ADBPG6.0版本大幅提升并发事务处理能力，更好的满足实时数仓场景，同时通过事务锁等优化，完
zhaowei121·2020-07-12 19:04

大数据/数仓面试灵魂30问

8.实时数仓做过吗？采用什么架构？lambda有哪些优
大数据技术架构·2020-07-12 02:41

Apache Flink 任意 Jar 包上传致 RCE 漏洞复现

l实时推荐系统l实时报表l实时数仓与ETLl复杂事件处理l实时欺诈与实时信用评估l大数据安全监测Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据
RH002·2020-07-11 23:19

核桃编程Delta Lake实时数仓应用实践

作者：卢圣刚，核桃编程数据架构师，拥有多年的大数据开发和架构经验。曾担任易观数据挖掘工程师，熊猫TV大数据架构师。核桃编程简介核桃编程成立于2017年8月9日，作为少儿编程教育行业的领导者，始终秉持“让每个孩子爱学习、会学习，让优质的教育触手可及”的使命，致力于以科技手段促进编程教育，凭借首创的AI人机双师教学模式与十级进阶课程体系，实现规模化因材施教，“启发中国孩子的学习力”。截止2019年8月
weixin_45906054·2020-07-10 11:47

OPPO数据中台之基石：基于Flink SQL构建实数据仓库

3.OPPO是如何来构建自己的实时数仓呢？4.为什么要用FlinkSQL?
forever428·2020-07-09 16:49

美团点评 Flink 实时数仓经验分享[转]

原文地址实时数仓建设目的解决传统数仓的问题实时数仓是一个很容易让人产生混淆的概念。实时数仓本身似乎和把PPT黑色的背景变得更白一样，从传统的经验来讲，我们认为数仓有一个很重要的功能，即能够记录历史。
zfylin·2020-07-09 11:19

美团外卖亿级风控实时数据仓库实践！

美团外卖风控的实时数仓是为了满足实时化风控&自动化决策需求，目前系统每天承载几十亿量级的数据，怎么样保证这么大量级的实时数仓的准确性、一致性和低
肉眼品世界·2020-07-08 23:45

美团点评基于 Flink 的实时数仓平台实践

摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而Flink实时数仓在数据链路中扮演着极为重要的角色。
Ververica·2020-07-08 23:24

TiDB / TiSpark 在易果集团实时数仓中的创新实践

2019独角兽企业重金招聘Python工程师标准>>>项目背景目前企业大多数的数据分析场景的解决方案底层都是围绕Hadoop大数据生态展开的，常见的如HDFS+Hive+Spark+Presto+Kylin，在易果集团，我们初期也是采取这种思路，但是随着业务规模的快速增长和需求的不断变化，一些实时或者准实时的需求变得越来越多，这类业务除了有实时的OLTP需求，还伴随着一些有一定复杂度的OLAP的需
powerx_yc·2020-07-08 17:14

58同城宝实时数仓建设实践

本文主要介绍58同城宝团队在实时数仓建设中的一些实践经验。实时数仓的演进早期的数据仓库是将业务数据集中进行存
过往记忆·2020-07-08 12:27

实时数仓的概念及实现方式

目前企业数据架构基本也就包含3种模式，离线数仓，实时数仓，实时流。离线数仓没有任何歧义，实时数仓和实时流之前有什么区别呢？
tom_fans·2020-07-08 07:53

大数据之Hudi + Kylin的准实时数仓实现

在近期的ApacheKylin×ApacheHudiMeetup直播上，ApacheKylinPMCChair史少锋和Kyligence解决方案工程师刘永恒就Hudi+Kylin的准实时数仓实现进行了介绍与演示
贝拉美·2020-07-06 20:11

TiDB 慢查询排查和优化

而对于OLTP业务，同样存在着类似的卡点，即业务慢查询会对实时数仓的服务能力产生很大影响。
desYang·2020-07-06 10:42

实时数仓与离线数仓在开发上的区别

离线方案的调度周期决定了其使用场景，及时性及准确性可以按照产出批次进行监控，如果数据出错存在修复的可能。实时任务是常驻任务，一旦出现错误，就将直接被用户感知，且刷掉错误数据较为麻烦，因此对数据质量，及其监控手段的要求更高。且大屏等高级场景需要进行压测、并进行多链路搭建来保障数据及时可用。实时计算不能完全照搬离线层级，应该合并计算单元，降低拓扑层级，在降低资源占用的同时提高可用性。离线存储空间巨大，
冬熊夏狗·2020-07-06 07:28

OPPO 实时数仓揭秘：从顶层设计实现离线与实时的平滑迁移

摘要：单日总数据处理量超10万亿，峰值大概超过每秒3亿，OPPO大数据平台研发负责人张俊揭秘OPPO基于ApacheFlink构建实时数仓的实践，内容分为以下四个方面：建设背景顶层设计落地实践未来展望重要
Ververica·2020-07-06 06:16

数据仓库、数据库的对比介绍与实时数仓案例

2019独角兽企业重金招聘Python工程师标准>>>数据仓库和数据库的区别一、数据仓库什么是数据仓库？数据仓库（DataWarehouse）,可简写为DW或DWH,数据仓库，是为了企业所有级别的决策制定计划过程，提供所有类型数据类型的战略集合。它出于分析性报告和决策支持的目的而创建。为需要业务智能的企业,为需要指导业务流程改进、监视时间，成本，质量以及控制等；数据仓库能干什么？（举几个栗子）年度
weixin_34306593·2020-07-06 01:36

美团点评实时数仓实践

主要内容如下：实时数仓建设目的如何建立实时数仓仓库质量保证实时数仓建设目的解决传统数仓的问题实时数仓是一个很容易让人产生混淆的概念。
过往记忆·2020-07-05 19:47

美团点评 Flink 实时数仓应用经验分享

主要内容如下：实时数仓建设目的如何建立实时数仓仓库质量保证Tips：点击「阅读原文」链接可查看作者原版PPT及分享视频～实时数仓建设目的解决传统数仓的问题实时数仓是一个很容易让人产生混淆的概念。
大数据技术架构·2020-07-05 16:10

美团点评基于 Flink 的实时数仓平台实践

摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而Flink实时数仓在数据链路中扮演着极为重要的角色。
大数据技术架构·2020-07-05 16:09

flink学习笔记-flink实时数仓-实时同步msql数据到hbase（mysql->max-well->kafka->flink->hbase）

为了解决公司数据统计，数据分析等各种问题，我们可以有很多手段，最常用的手段就是通过构建数据仓库的手段来实现我们的数据分析，数据挖掘等，其中，数据仓库基本上都是统计前一天的数据，或者最近一段时间的数据，这就决定了数据仓库一般都是使用离线的技术来实现，通过离线的技术手段，来实现前一天或者近一段时间的数据统计功能，为了解决数据统计的时效性问题，我们也可以通过实时的手段来构建数据仓库，通过流式API，结合
小猿学习笔记·2020-07-05 03:59

用Flink取代Spark Streaming，知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
千与千寻之前·2020-07-04 13:37

实时数仓 | 你想要的数仓分层设计与技术选型

生态不断发展，主要基于Hive/HDFS的离线数仓架构可以兴起并延续至今，近几年随着Storm/Spark（Streaming）/Flink等实时处理框架的更新迭代乃至相互取代，各厂都在着力构建自己的实时数仓
大数据技术架构·2020-07-04 02:37

美团点评基于 Flink 的实时数仓建设实践

引言近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过Flink引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架Flink与Storm的性能对比》，对Flink和Storm俩个引擎的计算性能进行了比较。本文主要阐述使用Flink在实际数据生产上的经验。实时平台初期架构在实时数据系统
weiqing687·2020-07-02 17:01

Apache Doris 在美团点评的实践

https://blog.bcmeng.com/post/meituan-doris.html技术选型背景用户需求WhyNotOtherROLAPWhyDoris典型应用变化维表Join明细+聚合外卖准实时数仓
small&snail·2020-07-02 05:16

实时数仓中flink异步io补维操作

在实时数据仓库中，事实表可以通过flink实时清洗到操作数据层ods层。操作基础数据到dw明细数据层需要对一些维度进行补充，形成一个宽表。本文通过异步io的方式对mysql数据库的维度信息进行抽取，同时使用缓存对维度数据进行缓存。线上使用发现这种方式非常稳定。需要注意的是要注意对数据库的连接数需要设置，避免连接数被用尽的情况。packagecom.mgtv.data.dimension;impor
haungtan07·2020-07-02 02:07
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他