数仓（

一文读懂大数据实时计算（好文点赞收藏！！）

目录0-前言1-实时计算2-实时计算应用场景2.1-实时智能推荐2.2-实时欺诈检测2.3-舆情分析2.4-复杂事件处理2.5-实时机器学习3-实时计算架构4-实时数仓解决方案0-前言本文分为四个章节介绍实时计算
KG大数据·2021-09-12 16:32

数仓中指标-标签，维度-度量，自然键-代理键等常见的概念术语解析

目录0-前言1-数仓中常见概念解析1.1-实体1.2-维度1.3-度量1.4-粒度1.5-口径1.6-指标1.7-标签1.8-自然键1.9-持久键1.10-代理键1.11-退化维度1.12-下钻1.13
KG大数据·2021-09-12 00:09

Apache Hudi 在 B 站构建实时数据湖的实践

主要内容为：传统离线数仓痛点数据湖技术方案Hudi任务稳定性保障数据入湖实践增量数据湖平台收益社区贡献未来的发展与思考一、传统离线数仓痛点1.痛点之前B站数仓的入仓流程大致如下所示：在这种架构下产生了以下几个核心痛点
·2021-09-10 11:16

Flink 在顺丰的应用实践

本⽂由社区志愿者苗文婷整理，内容源⾃顺丰科技大数据平台研发工程师龙逸尘在FlinkForwardAsia2020分享的《Flink在顺丰的应用实践》，主要分享内容为：顺丰基于Flink建设实时数仓的思路
·2021-09-08 18:01

基于 MaxCompute 的实时数据处理实践

简介：MaxCompute通过流式数据高性能写入和秒级别查询能力(查询加速)，提供EB级云原生数仓近实时分析能力；高效的实现对变化中的数据进行快速分析及决策辅助。
·2021-09-08 16:36

数据仓库建模方法论

建模方法论数仓的建模或者分层，其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话，所有的划分都是为了更好的管理。
大数据技术派·2021-09-08 09:15

Hudi On Flink

一、背景传统数仓分为离线和实时两个部分离线部分属于业务驱动，固定的计算逻辑，通过定时调度，最后产出报表；实时部分属于需求驱动，需要灵活开发。
TOTower·2021-09-06 16:11

实时数仓神器 - Flink-CDC(最新版本)

实时数仓神器-Flink-CDC(最新版本)关键词：Flink-CDC、Flink-CDC入门教程、FlinkCDCConnectors、Flink-CDC2.0.0文章目录实时数仓神器-Flink-CDC
极客公园℡·2021-08-31 22:39

数仓出现“wait in ccn queue”的时候，怎么迅速定位处理？

摘要：现网在使用动态负载管理的时候，经常出现很多waitinccn的情况，大家处理起来就会认为是hung住或者怎么着了，很着急，但waitccn其实就是一个等待资源的状态，在此总结一个ccn问题处理的博文，ccn的问题都可以通过此贴处理。本文分享自华为云社区《GaussDB(DWS)waitinccnqueue的时候，怎么迅速定位处理？》，作者：Malick。前言现网在使用动态负载管理的时候，经常
·2021-08-31 13:52

全国大学生大数据技能竞赛（Spark on Yarn安装）

系列文章全国大学生大数据技能竞赛（Hadoop集群搭建）全国大学生大数据技能竞赛（数仓部署）文章目录系列文章前言资料链接SparkonYarn安装3.1安装Scala3.2安装Spark前言本篇博客根据往年全国大学生大数据技能竞赛资料搭建
鈴音.·2021-08-30 20:01

美团外卖实时数仓建设实践

实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是：一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合，同时满足实时和准实时业务场景。
·2021-08-30 16:12

美团外卖实时数仓建设实践 - 美团技术团队

实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是：一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合，同时满足实时和准实时业务场景。
·2021-08-27 08:00

偶数获近 2 亿元 B+轮投资，引领云数仓赛道

偶数科技是一家总部位于北京的云原生数据仓库和AI产品公司，其自主研发的OushuDB是一款高性能云原生数据仓库，可以用于构建企业核心数仓、数据集市、实时数仓和湖仓一体数据平台。现阶段
·2021-08-25 13:55

快手基于 Flink 构建实时数仓场景化实践

本文整理自快手数据技术专家李天朔在5月22日北京站FlinkMeetup分享的议题《快手基于Flink构建实时数仓场景化实践》，内容包括：快手实时计算场景快手实时数仓架构及保障措施快手场景问题及解决方案未来规划一
·2021-08-24 19:45

Lenovo x DorisDB：简化数据处理链路，极大提升 BI 分析效率

数据存储与计算离线数据处理：利用Hive高可扩展的批处理能力承担所有的离线数仓的ETL和数据模型加工的工作。数据查询与分析数据共
·2021-08-19 00:00

全国大学生大数据技能竞赛（数仓部署）

系列文章目录全国大学生大数据技能竞赛（Hadoop集群搭建）全国大学生大数据技能竞赛（SparkonYarn安装）文章目录系列文章目录前言资料链接数仓部署详解（一）hbase安装1.1解压缩1.2修改配置文件
鈴音.·2021-08-16 18:45

全国大学生大数据技能竞赛（Hadoop集群搭建）

系列文章全国大学生大数据技能竞赛（数仓部署）全国大学生大数据技能竞赛（SparkonYarn安装）文章目录系列文章前言资料链接用VMware练习配置前准备三台虚拟机并修改网络为桥接01本地源YUM02基础环境配置
鈴音.·2021-08-14 14:09

Flink 与 TiDB 联合发布实时数仓最佳实践白皮书

简介：点击链接，动动手指获取白皮书～另外，实时数仓Meetup议题征集中！
·2021-08-13 18:52

活动回顾 | 8月7日Apache Flink Meetup

简介：8.7线上Meetup视频和PPT分享来啦～另外，下一期实时数仓Meetup议题征集中！
·2021-08-13 18:20

企业级大数据项目建设之数据仓库搭建与数据治理概况版

数据模型不管是从计算成本，易用性，复用性，还是一致性等方面，我们都必须避免烟囱式的开发模式，而是以中间层的方式去建设实时数仓，烟囱式架构有很大弊端，它无法与其他系统进行有效协调工作，不利于业务沉淀，而且后期维护成本非常大
大数据学习僧·2021-08-11 16:07

外部工具连接SaaS模式云数仓MaxCompute—ETL工具篇

简介：本文主要讲解开源ETL工具如何连接MaxCompute直播视频请点击直播观看。本次分享将从五个方面讲解。01走进MaxCompute生态02开源ETL工具03客户端简介04PyODPS简介05实操展示一、走进MaxCompute生态首先来看下MaxCompute产品能支持的外部工具，大概可以分为商业智能、开发管理、传输调度、编程接口。本次分享主要关注商业智能（BI）工具这一板块，可以看到Ma
·2021-08-11 12:29

实时数仓王炸组合-实时计算 Flink 版 + Hologres来啦！

简介：阿里云超强专家阵容倾力打造的实时数仓“王炸组合”，更有合集电子书免费下载哦！架构、场景、实操全方位解读，实时数仓不再是“纸上谈兵”！王炸组合《实时数仓入门训练营》正式结营啦！
·2021-08-06 12:57

外部工具连接SaaS模式云数仓MaxCompute 实战—— 数据库管理工具篇

简介：本次直播将主要分享MaxCompute查询加速功能、数据库管理工具DBeaver、DataGrip、SQLWorkbench/J的部分连接演示。作者木弈阿里云智能产品经理直播视频请点击直播观看。本次分享将从四个方面讲解。01上节回顾02数据库管理工具概览03实操展示04查询加速一、上节回顾在第一讲中我们主要讲了MaxCompute生态，重点介绍了商业BI工具，包括Tableau、FineRe
·2021-08-04 12:41

Hologres揭秘：如何支持超高QPS在线服务（点查）场景

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
·2021-07-30 14:57

2021阿里巴巴大数据技术公开课第一季：外部工具连接SaaS模式云数仓MaxCompute实战

简介：MaxCompute是面向分析的企业级SaaS模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，帮助企业和大数据开发者经济并高效的分析处理海量数据。2021阿里巴巴大数据技术公开课第一季将在7月21日开讲，本季直播将带领大数据开发者走进SaaS模式云数据仓库MaxCompute生态，通过三次主题分
·2021-07-29 14:16

实时计算 Flink 版 + Hologres，《实时数仓入门训练营》课程内容合集

简介：阿里云超强专家阵容倾力打造的实时数仓“王炸组合”，现已将所有课程整理出来供同学们学习～5月份，实时计算Flink版+Hologres组建“王炸组合”，联合推出的《实时数仓入门训练营》受到了广大开发者同学们热情的关注
·2021-07-27 19:44

实时数仓入门训练营：Hologres性能调优实践

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题
·2021-07-27 19:51

实时数仓入门训练营：Hologres 数据导入/导出实践

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题
·2021-07-27 19:47

实时数仓入门训练营：实时数仓助力互联网实时决策和精准营销

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题
·2021-07-27 19:35

从零开始，带你玩转一站式实时数仓Hologres

简介：本次系列直播课程，将会从零开始带您玩转一站式实时数仓Hologres，让您从入门到精通。
·2021-07-27 19:24

实时数仓入门训练营：实时计算 Flink 版 SQL 实践

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题
·2021-07-27 19:23

基于 Apache Flink + Hologres 的实时推荐系统架构解析

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题
·2021-07-27 19:07

实时数仓入门训练营：Hologres性能调优实践

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容
·2021-07-27 19:36

实时数仓入门训练营：实时计算 Flink 版 SQL 实践

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容
·2021-07-27 19:41

实时数仓入门训练营：基于 Apache Flink + Hologres 的实时推荐系统架构解析

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容
·2021-07-27 19:09

Hologres揭秘：优化COPY，批量导入性能提升5倍+

简介：揭秘Hologres优化COPY的技术原理，实现批量导入性能提升5倍+Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL
·2021-07-27 19:27

Hologres揭秘：高性能原生加速MaxCompute核心原理

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
·2021-07-27 19:17

唯品会：在 Flink 容器化与平台化上的建设实践

简介：唯品会Flink的容器化实践应用，FlinkSQL平台化建设，以及在实时数仓和实验平台上的应用案例。
·2021-07-27 19:24

来电科技：基于 Flink + Hologres 的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓。
·2021-07-27 19:11

自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察

简介：客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。
·2021-07-27 19:21

Hive企业级性能优化（好文建议收藏）

但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建出一个完美的数仓，所以Hive性能调优是我们大数据从业者必须掌握的技能。本文将给大家讲解Hive性能调优的一些方法及技巧。
·2021-07-27 19:37

大数据Flink电商数仓实战项目流程全解（一）

项目整体思路和架构项目最终成果展示：本项目主要参考尚硅谷的Flink实时数仓项目完成，最近又重新跑了一遍，项目整体我会在后续上传到码云中，也会逐步同步更新到博客中来，里面不仅包含了整体代码和整个集群搭建过程
大数据YYDS·2021-07-21 00:21

数仓中的维度、原子指标、派生指标、衍生指标、指标分类、缓慢变化维等的含义

1基本概念1.1实体从业务角度讲，实体是为了满足分析的需要，抽象出来的概念，从业务中拆分出一个个实体，可以是现实存在的业务对象，如用户，商家，商品，也可以是现实没有的，如虚拟的业务对象，活动，会员等等1.2维度维度是度量的基础，用来反映业务的一类属性，这类属性的集合构成一个维度，也可以称为一个实体对象。在划分数据域、构建总线矩阵时，需要结合对业务过程的分析定义维度。1.3业务过程业务过程是指企业的
架构师忠哥·2021-07-19 11:33

数仓面试题

1.数据仓库的定义？首先，用于支持决策，面向分析型数据处理；其次，对多个异构的数据源有效集成，集成后按照主题进行重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。数据仓库(DataWarehouse)是一个面向主题的(subjectoriented)、集成的(integrated)、相对稳定的(non-volatile)、反应历史变化(timevariant)的数据集合，用于支持管理决
song_quan_·2021-07-18 11:11

DataWarehouse 数据仓库

OLAP1.2.1OLAP基本操作2、数据建模2.1.关系建模2.2.维度建模3、维度表分类3.1.维度表3.2.事实表4、数据组织类型4.1.星型模型4.2.雪花模型4.3.星座模型4.4.模型选择5、数仓特征
忄凝^·2021-07-15 22:59

面试系列六 之 用户行为数据分析

关注我的公众号【宝哥大数据】，更多干货等着你1.1、数仓分层架构分层优点：复杂问题简单化、清晰数据结构(方便管理)、增加数据的复用性、隔离原始数据(解耦)层级功能ods原始数据层存放原始数据，保持原貌不做处理
·2021-06-27 22:34

数据仓库VS数据湖泊，OLTP VS OLAP一篇文章说清楚

存储在数仓中的数据都是结构化的使得企业中许多部门或部门的用户可以按需访问和分析数据。
吕信·2021-06-27 16:50

Flink 和 Iceberg 如何解决数据入湖面临的挑战

一、数据入湖的核心挑战数据实时入湖可以分成三个部分，分别是数据源、数据管道和数据湖（数仓），本文的内容将围绕这三部分展开。
·2021-06-27 03:22

数仓业务容错利器：物理细粒度备份恢复技术

摘要：随着信息技术的发展，人类进入大数据时代，数据量呈现爆炸式的增长，金融领域数据承载核心业务，即便遭遇各种软硬件错误或灾难，也需要具备找回和快速恢复业务能力，因此备份恢复能力成为数仓的最关键能力之一。
·2021-06-26 06:53

Apache Hudi使用简介

数据实时处理和实时的数据实时分为处理的实时和数据的实时即席分析是要求对数据实时的处理，马上要得到对应的结果Flink、SparkStreaming是用来对实时数据的实时处理，数据要求实时，处理也要迅速数据不实时，处理也不及时的场景则是我们的数仓
西北偏北·2021-06-26 02:24
上一页 53 54 55 56 57 58 59 60 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他