实时数仓

直播 | 新一代极速云原生湖仓的技术内核，StarRocks PMC 今天下午为你揭秘！

本届大会重点围绕云原生数据库、分布式数据库、时序数据库、图数据技术、实时数仓技术与应用实践、金融业数据库应用实践等内容展开分享和探讨。
StarRocks_labs·2022-12-17 05:48

20000节点云数仓在大型商业银行的“实践之路”

本次大会以“数据智能价值创新”为主题，邀请逾百位行业专家，重点围绕云原生数据库、实时数仓技术与应用实践、大数据平台等内容展开分享和探讨。
·2022-12-16 13:10

新闻速递 | 开务数据库亮相 DTCC 2022 线上大会并发表系列主题演讲

本届大会以“数据智能价值创新”为主题，邀请超百位行业专家，重点围绕时序数据库、图数据技术、实时数仓技术与应用实践、云原生数据库、大数据平台与数据安全等内容展开分享和探讨。
·2022-12-15 16:15

新一代云原生实时数仓 SelectDB 发布会精华干货！五大核心特色解读。

基于传统数据库共享存储架构和专门面向分析型的无共享MPP架构第二阶段：湖仓并行时代使用场景：企业内部报表与分析，更大规模的ETL数据工程、行为分析和画像等新型数据应用分析，百万级外部客户高并发需求技术实现：离线数据湖，在线实时数仓第三阶段
·2022-12-15 14:02

【观察】定义下一代云原生实时数仓，SelectDB Cloud“打了个样”

2020年，国家在《关于构建更加完善的要素市场化配置体制机制的意见》中，首次将数据与土地、资本、劳动力并列为关键生产要素，并提出加快培育数据要素市场的愿景，此举可谓意义重大。背后的原因是，当下中国企业正在加速从数字化走向智能化，对数据的应用也提升到了一个全新的高度。例如，企业对数据的即时分析、按需分析、即时部署变得更加的强烈；同时，随着数据的广泛流动，企业为了管理好这些数据，其数据基础设施也必须要
申耀的科技观察·2022-12-14 22:45

直播 | 新一代极速云原生湖仓的技术内核，StarRocks PMC 今天下午为你揭秘！

本届大会重点围绕云原生数据库、分布式数据库、时序数据库、图数据技术、实时数仓技术与应用实践、金融业数据库应用实践等内容展开分享和探讨。
·2022-12-14 14:11

flink sql 知其所以然（十八）：在 flink 中还能使用 hive udf？附源码

废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你能了解到，其实很多场景下实时数仓的建设都是随着离线数仓而建设的（相同的逻辑在实时数仓中重新实现一遍
大数据羊说·2022-12-10 13:52

秒级加速质变，Apache Doris与360数科的“化学反应”

值得一提的是，不同于市面上应用最为广泛的实时数仓场景，360数科独创的Do
CSDN云计算·2022-12-09 23:57

[选型] 实时数仓之技术选型

数仓技术路线选型对于已有的hive数据仓，怎样改造成实时数仓的要求呢？
fct2001140269·2022-12-08 08:45

Flink实时数仓项目—业务数据采集

Flink实时数仓项目—业务数据采集前言一、采集工具选型二、Flink-CDC学习三、MySQL数据准备1.binlog的配置2.模拟生成数据四、业务数据采集模块1.配置文件2.代码实现前言前面完成了日志数据的采集
自学大数据的菜鸡·2022-12-05 13:23

大数据项目之Flink实时数仓(数据可视化接口实现)

设计思路之前数据分层处理，最后把轻度聚合的结果保存到ClickHouse中，主要的目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展现，一种是为专业的数据分析人员的BI工具，一种是面向非专业人员的更加直观的数据大屏。以下主要是面向百度的sugar的数据大屏服务的接口开发最终效果图分析各个可视化模块在可视化大屏中每个组件都需要一个单独的接口，图中一共涉及8个组件。组件名称|组
Keven He·2022-12-05 13:19

【Flink实时数仓】数据仓库项目实战 《三》 维表数据写入到HBase【DIM】

这里写自定义目录标题【Flink实时数仓】数据仓库项目实战《三》维表数据写入到HBase【DIM】1.配置表设计**主流程流程图**：**主流数据和广播流数据处理流程图**：**写入HBase(Phoenix
一阵暖风·2022-12-05 13:07

【Flink实时数仓】数据仓库项目实战 《Clickhouse》问题记录

文章目录《Clickhouse》问题记录1.clickhouse-client-m报错《Clickhouse》问题记录1.clickhouse-client-m报错原因：无密码时连接，忘记设置过默认密码clickhouse安装好之后，系统默认的登录账号密码是/etc/clickhouse-server/users.d/default-password.xml文件中配置的。报错信息：Code:516
一阵暖风·2022-12-05 13:36

实时数仓 大数据 Hadoop flink kafka

⼀、实时数仓建设背景实时需求⽇趋迫切⽬前各⼤公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能⼒来赋能。
送你秋天的第一杯奶茶·2022-12-05 13:01

【Flink实时数仓】数据仓库项目实战 《一》 准备工作

文章目录【Flink实时数仓】实时数据仓库项目实战配置选择数据采集工具选择用户行为数据采集模块（Flume、Kafka）业务数据采集模块（MySQL、Maxwell、Kafka）实时数据仓库工具选择**
一阵暖风·2022-12-05 13:30

跨境支付平台 XTransfer 的实时数仓之路：深度参与开源才能不被淘汰

近两年新冠肺炎疫情对各行各业造成重大冲击，但对于跨境电商行业来说则是机大于危，跨境支付赛道也因此备受关注。其中，受疫情影响，大量B2B外贸交易转到线上，相比起B2C，B2B跨境交易支付场景更为复杂，因为其业务场景也往往更为复杂、周期长、贸易参与角色众多。另一方面，支付业务天然地对风险识别的及时性和准确性要求非常高，因此数据的采集、加工、计算就需要前置在每个业务节点、前瞻性地做好数据资产的维护工作。
XTransfer技术·2022-12-02 13:26

大厂实时数仓建设项目实例

一、实时数仓建设背景1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。
公众号:肉眼品世界·2022-12-01 20:51

跨越速运如何构建实时统一的运单分析

海量运单数据涌来，统一OLAP引擎、建设实时数仓、将极速数据分析能力应用到多个场景，成为了跨越速运大数据部门的核心工作目标。
StarRocks_labs·2022-12-01 19:05

【Flink实时数仓】数据仓库项目实战 《二》 数据采集到kafka【ODS】

文章目录【Flink实时数仓】数据仓库项目实战《二》数据采集到Kafka【ODS】模拟数据采集模块：-------------------------1.用户行为数据采集模块--------------
一阵暖风·2022-12-01 08:04

跨越速运如何构建实时统一的运单分析

海量运单数据涌来，统一OLAP引擎、建设实时数仓、将极速数据分析能力应用到多个场景，成为了跨越速运大数据部门的核心工作目标。
·2022-11-30 14:25

Flink 高频面试题

6大主题，36个Flink高频面试题：⭐状态原理⭐时间窗口⭐编程技巧⭐实战经验⭐实时数仓⭐前沿探索1.状态原理1.1.状态、状态后端、Checkpoint三者之间的区别及关系？
phial03·2022-11-29 15:43

基于 Flink SQL 构建实数据仓库在 OPPO 的实战

本文主要内容如下：OPPO实时数仓的演进思路；基于FlinkSQL的扩展工作；构建实时数仓的应用案例；未来工作的思考和展望。关注过往记忆大数据，并回复oppo获取本文ppt。
Hadoop技术博文·2022-11-23 11:16

快手基于 Flink 构建实时数仓场景化实践

一、快手实时计算场景快手业务中的实时计算场景主要分为四块：公司级别的核心数据：包括公司经营大盘，实时核心日报，以及移动版数据。相当于团队会有公司的大盘指标，以及各个业务线，比如视频相关、直播相关，都会有一个核心的实时看板；大型活动实时指标：其中最核心的内容是实时大屏。例如快手的春晚活动，我们会有一个总体的大屏去看总体活动现状。一个大型的活动会分为N个不同的模块，我们对每一个模块不同的玩法会有不同的
pucheung·2022-11-22 14:17

FlinkSQL建表语句与插入语句

FlinkSQL来构建实时数仓，其思路大概如下：Flink的TableAPI提供了对kafka/jdbc/hbase等实时开发涉及到的组件的支持，以kafka为例，将kafkatopic抽象成FlinkTable
你好，我叫罗鹏程·2022-11-22 14:11

离线+实时数仓建设方案

大纲一、数仓基本概念1、数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。这里参考此定义，把数据仓库架构理解成构成数据仓库的组件及其之间的关系，画出下面
000X000·2022-11-22 01:22

2022最全大数据学习路线（建议收藏）

前言：一、个人介绍二、大数据介绍正文：一、大数据工作岗位二、大数据工程师技能要求三、大数据系统学习路径四、推荐持续学习资源（书籍、教程）五、大数据项目实战（离线计算、实时计算、离线数仓、实时数仓、ELK
大数据研习社·2022-11-20 04:46

java到大数据学习路线

数据结构（重点看数组、栈、队列、链表、树）算法（重点看各种排序算法、查找算法、去重算法，最优解算法，多去LeetCode刷算法题）操作系统（重点看进程、线程、IO、调度、内存管理）数据仓库分为离线数仓和实时数仓
xuli_joe·2022-11-20 04:44

实时数仓架构那些事儿

最重要的是，希望和大家一起讨论大数据实时数仓架构，不是说我的架构水平多厉害，只是想说，做技术架构是
登峰大数据·2022-11-19 11:14

Flink实时数仓数据采集流程和技术架构

一、系统架构前端埋点可以获取更多的信息，不仅可以获取用户点击浏览行为数据，还能获得用户定位位置信息等，滑动转跳一、日志数据采集SpringBoot-->Nginx-->（flume）-->Kafka-->flink可以不用flume，直接怼到kafka消息队列，flikk消费二、业务数据库数据采集MYsql/Oracle-->Maxwell/canal-->kafka-->flink都在说实时数据
四月天03·2022-11-15 10:42

37手游基于云平台的大数据建设实践

本文整理自37手游大数据平台资深开发工程师史飞翔在实时数仓Workshop·广州站的演讲。
Apache Flink·2022-11-03 10:44

活动回顾 | 8月7日Apache Flink Meetup

简介：8.7线上Meetup视频和PPT分享来啦～另外，下一期实时数仓Meetup议题征集中！
阿里云开发者·2022-11-03 10:41

Spark+Flink+Iceberg打造湖仓一体架构实践探索

数据湖-大数据生态杀青数据仓库的痛点只能存储结构化数据，无法采集存储非结构化数据无法存储原始数据，所有的数据须经过ETL清洗过程离线数仓的数据表牵一发而动全身，数据调整工程量大实时数仓存储空间有限，无法采集和存储海量实时数据回溯效率低下
架构师老狼·2022-11-01 13:14

37手游云平台基于Flink+Hologres大数据建设实践

本文整理自37手游大数据平台资深开发工程师史飞翔在实时数仓Workshop·广州站的演讲。
·2022-10-17 17:20

37手游基于云平台的大数据建设实践

本文整理自37手游大数据平台资深开发工程师史飞翔在实时数仓Workshop·广州站的演讲。
·2022-10-13 18:40

大数据FLINK实时数仓项目实战

一、FLINK实时数仓项目简介1、普通实时计算与实时数仓比较普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。
wespten·2022-10-13 12:55

实时数仓-Doris ON ES

原理介绍：原文点击Doris通过创建外部表方式将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案，支持：ES中的多index分布式Join查询Doris和ES中的表联合查询，更复杂的全文检索过滤创建ES外表后，FE会请求建表指定的主机，获取所有节点的HTTP端口信息以及index的shard分布信息等，如果请求失败会顺序遍
不看白不看，看了不白看·2022-10-12 20:24

云原生实时数仓首次在2020双11核心数据场景落地

简介：这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。背后作为数据核心支撑的大数据平台更是创下新的世界纪录。刚刚结束的2020天猫双11又创下两项新记录：交易额4982亿，订单创建峰值每秒58.3万笔。这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。背
阿里云云栖号·2022-10-10 13:49

阿里巴巴云原生实时数仓核心技术揭秘

简介：揭秘Hologres的核心技术优势4982亿，是2020年天猫双十一成交额最终定格的数字。在这背后，是人类历史上最大规模的人机协同，更是数字世界史无前例的巅峰挑战。阿里云新一代云原生数仓Hologres作为双十一背后重要的技术支撑，消费者的每一次搜索、浏览、收藏、加购，都会变成实时数据流入Hologres进行存储，并与天猫上沉淀的历史离线数据进行交叉比对。2020双十一，Hologres顶住
阿里云开发者·2022-10-10 13:18

全球第一，新一代云原生实时数仓 SelectDB 登顶 ClickBench 榜单

近期，在ClickHouse发起的分析型数据库性能测试排行榜ClickBench中，新一代云原生数仓SelectDB强势登顶，性能表现超越一众国内外产品，多项指标排行前列，并在业界最为通用的c6a.4xlarge,500gbgp2机型下排行全球第一！在ClickBench性能排行榜中，测试数据均取自真实生产环境、涵盖数据类型多样、覆盖了即席查询和统计报表等典型场景，能真实反映各大数据库在生产环境中
SelectDB技术团队·2022-10-10 13:47

新一代云原生实时数仓 SelectDB 登顶 ClickBench 榜单！

近期，在ClickHouse发起的分析型数据库性能测试排行榜ClickBench中，新一代云原生数仓SelectDB强势登顶，性能表现超越一众国内外产品，多项指标排行前列，并在业界最为通用的c6a.4xlarge,500gbgp2机型下排行全球第一！在ClickBench性能排行榜中，测试数据均取自真实生产环境、涵盖数据类型多样、覆盖了即席查询和统计报表等典型场景，能真实反映各大数据库在生产环境中
·2022-10-10 11:32

实时数据仓库-(实时数仓设计)

数据仓库设计数据仓库分层规划优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。数据仓库构建流程以下是构建数据仓库的完整流程。数据调研数据调研重点要做两项工作，分别是业务调研和需求分析。这两项工作做的是否充分，直接影响着数据仓库的质量。业务调研业务调研的主要目标是熟悉业务流程、熟悉业务数据。熟悉业务流程要求做到，明确每个业务的
顶尖高手养成计划·2022-09-26 20:33

来电科技：基于Flink+Hologres的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合
阿里云云栖号·2022-09-24 13:43

来电科技：基于 Flink + Hologres 的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合
阿里云云栖号·2022-09-24 13:43

阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时数仓

企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。
Apache Flink·2022-09-24 13:41

【Flink】基于Flink构建全场景实时数仓

目录：一.实时计算初期二.实时数仓建设三.Lambda架构的实时数仓四.Kappa架构的实时数仓五.流批结合的实时数仓实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，
菜鸟蜀黍·2022-09-24 13:40

kafka和flink的入门到精通 2 系统架构，实时数仓架构，Kafka

参考007-大数据-系统架构-实时数仓架构_哔哩哔哩_bilibili链接：https://pan.baidu.com/s/1QMOJVkRy4nKkjzoDryvQXw提取码：fcoe本文接着上一篇kafka
水w·2022-09-24 13:39

实时数仓：基于Flink Sql connector：kafka构建实时数仓

时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。
四月天03·2022-09-24 13:39

阿里云 Flink+Hologres：构建企业级一站式实时数仓

企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。
aliyunhologres·2022-09-24 13:08

大数据新时代：基于Flink的实时数仓架构-学习笔记（上）

目录大数据应用大数据的业务流程大数据的技术学习路线大数据的本质数据仓库处理过程参考视频：【黑马程序员】大数据新时代：基于Flink的实时数仓架构大数据应用数据运营、用户画像、推荐系统、金融风控、机器学习
^果然好^·2022-09-24 13:08

替换Kudu，Hologres助力好未来网校实时数仓降本增效

客户介绍好未来（NYSE：TAL）是一家以智慧教育和开放平台为主体，在全球范围内服务公办教育，助力民办教育，探索未来教育新模式的科技教育公司。好未来的前身学而思成立于2003年，2010年在美国纽交所正式挂牌交易。好未来以“爱和科技让教育更美好”为使命，致力成为受尊敬的教育机构。当前，好未来已构建起从工具、平台到内容的多元化教育生态，满足从-1岁到24岁各年龄段人群个性化学习需求。目前，好未来旗下
aliyunhologres·2022-09-24 13:07
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他