数仓（第34页

浅谈flink-cdc的使用

标题:浅谈flink-cdc的使用日期:2021-12-1814:31:13标签:flink分类:[实时数仓,flink,flink-cdc]最近使用flinkcdc1.x，生产上碰到了许多问题，这里给大家罗列一下

chenzuoli·2023-03-31 06:25

flink的Oracle-cdc如何实现

标题:flink的Oracle-cdc如何实现日期:2021-08-0814:33:39标签:[flink,oracle]分类:实时数仓今天来说说如何实时接入oracle的数据，官方没有提供oracle-cdc

chenzuoli·2023-03-31 06:24

数据分层的思考

在数据流上来看，数据在数仓中的流动应当是单向的，从上游到下游，在单层中的数据，也应当是单向的，既数据间的依赖关系，如下图应当

板蓝根泡泡面·2023-03-31 05:56

数仓开发需要了解的5大SQL分析函数

基本语法analytic_function_name([argument_list])OVER([PARTITIONBYpartition_expression,…][ORDERBYsort_expression,…[ASC|DESC]])analytic_function_name:函数名称—比如RANK(),SUM(),FIRST()等等partition_expression:分区列sort

大数据技术与数仓·2023-03-31 03:26

数仓学习笔记(12)——集群监控(Zabbix)

目录一、Zabbix入门1、Zabbix概述2、Zabbix基础架构二、Zabbix部署1、集群规划2、准备工作3、启动停止Zabbix3.1启动Zabbix3.2停止Zabbix3.3连接Zabbix_Web数据库3.4登录Zabbix三、Zabbix使用1、Zabbix术语2、Zabbix实战2.1创建Host2.2创建监控项（Items）2.3创建触发器（Trigger）2.4创建动作（Ac

默萧756·2023-03-31 03:50

【硬刚大数据】Flink在实时在实时计算平台和实时数仓中的企业级应用小结

欢迎关注博客主页：https://blog.csdn.net/u013411339欢迎点赞、收藏、留言，欢迎留言交流！本文由【王知无】原创，首发于CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的面试部分补充。大数据领域自2010年开始，以Hadoop、Hive为代表的离线计算开始进入各大公司的视野。

王知无(import_bigdata)·2023-03-31 01:41

Flink--- 批处理 / 流处理

传统数据处理架构事务处理分析处理：将数据从业务数据库复制到数仓，再进行分析和查询流处理的演变lambda

Hyf 。·2023-03-31 00:09

Redis 大数据量（百亿级）Key存储需求及解决方案

作者：小热爱来源：juejin.cn/post/6956147115286822948最近我在思考实时数仓问题的时候，想到了巨量的redis的存储的问题，然后翻阅到这篇文章，与各位分享一需求背景该应用场景为

架构师小秘圈·2023-03-30 19:31

【Hive】什么是数据仓库？数据仓库和数据库有什么关系？

shell参数六、Hive的内置函数和自定义函数文章目录1.1基本概念1.2主要特征1.3数据库与数据仓库的区别OLTPOLAP1.4数据仓库的分层架构源数据层（ODS）数据仓库层（DW）数据应用层1.5数仓的元数据管理

快乐的冲浪码农·2023-03-30 17:15

Hive数仓项目架构说明、环境搭建及数据仓库基础知识

：1)教育项目的架构说明(理解)2)clouderamanager基本介绍(了解)3)教育项目环境搭建(参考搭建笔记,搭建成功)4)数据仓库的基本介绍(回顾)--理解5)维度分析的基本内容--理解6)数仓建模的基本内容

黑马程序员官方·2023-03-30 16:23

数仓简介及hive全面总结

1.数据仓库主要特征数据仓库是面向主题的（Subject-Oriented）、集成的（Integrated）、稳定的（Non-Volatile）和时变的（Time-Variant）数据集合，用以支持管理决策。主题性：指的是分析的需求集成性：数据仓库中数据来源于各个数据源，将各个数据源聚合在一起稳定性：存在数据仓库的数据，都是已经发生过得数据，这些数据不允许修改时变性：随着时间的推移，数据也在不断

erainm·2023-03-30 16:50

概念-数据域是什么？

后来在实际工作中，慢慢的把数据域的划分当做数仓表分类来做，发现基于这样的定义，数据域还是很有价值的。也许跟原本真实的含义差

钱锋0519·2023-03-30 16:28

浅谈大数据标签平台

写这篇文章的契机是几个数仓的哥们，问到了这方面的问题，正好我也可以总结一下。

北方~·2023-03-30 14:54

数仓、数据湖与湖仓一体化

伴随5G、大数据、AI、IoT的飞速发展，数据呈现大规模、多样性的高速增长。为了应对更加复杂多变的业务需求，许多机构对数据处理的实时性和融合性提出了更高的要求，“湖仓一体”的概念应运而生，它打破了数据仓库和数据湖之间的壁垒，使得割裂的数据融合统一，减少了数据分析中的搬迁，实现了统一的数据管理，有利于发现更多数据价值。01什么是数据仓库？数据仓库，英文名称为DataWarehouse，可简写为DW或

zxe King·2023-03-30 14:01

关于数据湖数据仓库和湖仓一体

1、数据仓库：传统的数仓ETL建模和分析处理，一般存储良好建模后的数据，主要是sql计算2、数据湖：基于原始的半结构化、非结构化数据，使用分布式的计算任务进行分析和处理，不是基于良好建模的数仓，强调数据的动态模型

eric1984·2023-03-30 13:48

【实时数仓】热度关键词接口、项目整体部署流程

文章目录一热度关键词接口1Sugar配置（1）图表配置（2）接口地址（3）数据格式（4）执行SQL2数据接口实现（1）创建关键词统计实体类（2）Mapper层：创建KeywordStatsMapper（3）Service层：创建KeywordStatsService接口（4）Service层：创建KeywordStatsServiceImpl（5）Controller层：在SugarControl

OneTenTwo76·2023-03-30 09:35

java做用户画像_用户画像之标签查询(附源码)

转自：https://blog.csdn.net/appearb...目录1.简介2.架构图3.表结构4.标签筛选人群1.请求格式2.人群筛选1.简介通过处理数仓中的业务数据和埋点数据，生成用户对应的标签

giao金·2023-03-30 09:59

用户画像系列第三篇：数据架构

下图是一个用户画像数仓的架构图。用户画像数仓架构图中最下方的虚线框中

Sunny️·2023-03-30 08:14

【用户画像】用户画像简介、用户画像的架构、搭建用户画像管理平台

标签分类二用户画像的架构1画像处理流程2画像标签数据应用3用户画像管理平台三搭建用户画像管理平台1一些问题2启动服务（1）数据库建表脚本（2）配置修改一用户画像简介1用户画像数据仓库是大数据体系的基石，用户画像是建立在数仓之上的一种应用

OneTenTwo76·2023-03-30 08:23

数仓（三）简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构

上一篇我们介绍了数据集市的概念以及它和数仓的区别，并且重点论述了大数据数仓中的分层架构体系。

浪尖聊大数据-浪尖·2023-03-30 02:09

关于数仓及其分层

目录一、基本介绍二、数据仓库的特点1、面向主题2、数据集成3、相对稳定4.反映历史变化三、数仓工具1、一般工具2、大数据学习工具之Hive2.1Hive的大数据学习优势2.2Hive数据仓库架构及原理四

Dylan~·2023-03-30 02:03

原创|实时数仓实战项目-第二节（数仓分层）

实时数仓如何做数据分层我不喜欢搞什么花里胡哨的词汇，让粉丝听着挠头，我就想用大白话分享我自己的建设思路和方案。在开始分享之前，我想给兄弟们说一下数仓建设的方法论：“因地制宜，以业务为中心”。

小晨说数据·2023-03-30 01:10

从0到1简单搭建加载数仓DWD层（业务数据解析）

来源：畅谈Fintech上一节我们讲解了数仓DWD层（用户行为日志数据）的搭建、解析、加载。并且讲解了通过编写java代码来实现UDTF功能。

小晨说数据·2023-03-30 01:10

2021-12-31

感觉数仓建设，数据分析，数据产品都有比较多的积累；2）我其实也想在分析上多一些积累，沉淀，但是其实平时自己的工作还是偏产品。

Edan栋·2023-03-30 01:18

基于Seatunnel连通Hive数仓和ClickHouse的实战

背景目前公司的分析数据基本存储在Hive数仓中，使用Presto完成OLAP分析，但是随着业务实时性增强，对查询性能的要求不断升高，同时许多数据应用产生，比如对接BI进行分析等，Presto不能满足需求

大数据坚为·2023-03-30 00:27

传统数据仓库--离线数仓逻辑和架构设计

1.架构图有空再补2.技术简介组件版本简介FLINK1.12.1分布式计算引擎HIVE3.1.2最常用的HQL数仓工具PHOENIX5.0.0HBaseSQL化查询分析工具SPARK3.0.1分布式计算引擎

北有榆树·2023-03-29 20:36

hive 修改分区表的字段类型采坑

hive修改分区表的字段类型采坑hive的联级cascade-修改分区表的字段类型或者增加新字段一、问题描述踩坑：数仓的分区表，需要将varchar(38)类型的字段改为varchar(50),我直接执行的一下的语句

章鱼哥TuNan&Z·2023-03-29 18:01

美团基于 Flink 的实时数仓平台建设新进展

摘要：本文整理自美团实时数仓平台负责人姚冬阳在FlinkForwardAsia2021实时数仓专场的演讲。

Apache Flink·2023-03-29 17:04

Flink 实践 | B站流式传输架构的前世今生

01背景Lancer是B站的实时流式传输平台，承载全站服务端、客户端的数据上报/采集、传输、集成工作，秒级延迟，作为数仓入口是B站数据平台的生命线。

Java可可·2023-03-29 16:06

流式数仓----未来的一个方向

#流式数仓概述流式数仓（StreamingWarehouse）更准确地说，其实是“makedatawarehousestreaming”，就是让整个数仓的数据全实时地流动起来，且是以纯流的方式而不是微批

keepandkeep·2023-03-29 15:37

实时数仓：实时数据平台之技术篇

文章目录简介一、整体技术选型二、技术组件介绍2.1数据总线平台DBus2.1.1DBus设计思想2.1.2DBus功能特性2.1.3DBus技术架构2.2分布式消息系统Kafka2.2.1元数据管理（MetadataManagement）2.2.2模式演变（SchemaEvolution）2.3流式处理平台Wormhole2.3.1Wormhole设计思想2.3.2Wormhole功能特性2.3.

Freedom3568·2023-03-29 14:15

Spark读取JDBC调优

Spark读取JDBC调优，如何调参一、场景构建二、参数设置1.灵活运用分区列实际问题：工作中需要读取一个存放了三四年历史数据的pg数仓表（缺少主键id），需要将数据同步到阿里云MC中，Spark在使用

Malegod丶小飞·2023-03-29 14:10

数据仓库，Hive中使用 != 或 <>符号进行条件过滤时的坑

事情经过是这样的，我在把业务系统数据同步到数仓(数据存储在Hive)中时，在数据汇总层(DWS)，对数据进行汇总处理时，发现有数据丢失的问题，经过排查，发现是在使用致命陷阱业务场景：把业务数据抽到ODS

喵感数据·2023-03-29 13:17

数仓规划建议

数仓规划建议1、将数仓平台账号收归统一管理，防止出现同一张业务表被重复同步到数仓平台或者自己的业务流程被别人误运行。（有些业务流程是不能被重复运行的）2、对数仓平台的表命名进行统一规范。

csdn1949_406·2023-03-29 12:09

基于物联网的智慧城市技术架构由传统数据仓库向flink流批一体数据仓库跃升

过去公司智慧城市项目，由于追求稳定性，数仓基本还是沿用比较成熟的传统数仓，但是随着近两年城市物联网部件的逐渐增多，实时性的需求逐渐增加。

sofo2017·2023-03-29 12:08

Apache Doris系列之：深入认识实时分析型数据库Apache Doris

ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速

最笨的羊羊·2023-03-29 08:42

离线数仓-基础知识(个人总结)

声明:1.本文为我的个人复习总结,并非那种从零基础开始普及知识内容详细全面,言辞官方的文章2.由于是个人总结,所以用最精简的话语来写文章3.若有错误不当之处,请指出一、概述:介绍:数据仓库里存放着海量的数据,并拥有分析计算程序,计算输出的结果供企业制定决策使用输入数据来源:用户行为数据(前端埋点),业务数据(MySQL数据库),爬虫数据用户行为数据:用户的动作产生的数据,比如浏览,停留,点击,点赞

hellosrc | remake·2023-03-29 08:32

聊聊数据域和主题域的区别

这篇文章跟大家一起聊下数仓中比较容易混淆的两个概念——数据域、主题域。

Data跳动·2023-03-29 08:27

数据仓库系列文章二：浅谈企业数据仓库总线矩阵

为什么要谈企业数据仓库总线矩阵，一方面是它在数仓建设中

feijinz·2023-03-29 08:16

Flink系列 - 实时数仓之CEP预警实战（五）

CEP即ComplexEventProcessing-复杂事件，FlinkCEP是在Flink中实现的复杂时间处理(CEP)库。处理事件的规则，被叫做“模式”(Pattern)，FlinkCEP提供了PatternAPI，用于对输入流数据进行复杂事件规则定义，用来提取符合规则的事件序列。 PatternAPI大致分为三种：个体模式，组合模式，模式组。(详情请自行查看资料)FlinkCEP应用

小飞牛_666·2023-03-29 08:47

数据仓库(7)数仓规范设计

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统规范设计在这里取《大数据之路：阿里巴巴大数据实践》中的定义，这里记录一下本人对这一块自己的理解。规范定义指以维度建模作为理

pythonxxoo·2023-03-29 07:58

数据仓库建设

1.数仓概述数仓顾名思义，就是数据存储仓库。为什么建设数仓呢？一个事物出现多是为了解决存在的问题。公司面临什么问题？

day_ue·2023-03-29 07:09

大数据中台架构以及建设全流程二（Daas层设计）

目录背景面临问题解决方案数仓架构演进离线数仓架构案例Lambda数仓架构案例问题点Kappa数仓架构架构选型数仓整体架构（图片来自网络）数仓分层架构（图片来自网络）主题域划分维度建模需求标准化维度及指标规范管理指标管理流程图数仓建库表规范字段规范实时数仓实时数仓

只会写demo的程序猿·2023-03-29 06:02

再见了数仓！数据中台已成气候！

提起业务流量，除了全民抢票平台12306，当数阿里最有发言权。上到双十一千亿级流量洪峰，下到日均百万、千万交易量的平台，每个业务模块背后的高并发架构理念，无处不在。成熟的架构设计只是其一，要取得突破性地业务增速和领先行业的地位，激活海量数据的价值才是长远之策。所以，阿里一直非常重视大数据领域的建设和投入，其中赫赫有名的就是大数据中台战略。OneData体系下的数据公共层已经支撑了淘宝、天猫、聚划算

LiangGzone·2023-03-29 05:11

数仓中关于“维度” “粒度”的详细理解（转）

一、维度是什么不懂就问，维度是什么？我们学习的自然反应，自然是去查阅专业资料。1）阿里dataphin产品简介——基本概念是这样介绍维度：人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。2）华为DGC产品介绍——基本概念如此介绍维度：维度是用于观察和分析业务数据的视角，支撑对数据汇聚、钻取、切片分析，用于SQL中的Groupby条件。多数维度具有层级结构，如：地理

cnor·2023-03-29 05:28

阿里云数仓Dataphin数仓功能点含义解释

Dataphin基于Dev-Prod开发模式，开发环境生成的规范建模、数据处理、数据集成类任务，需要发布到生产环境进行调度。规范建模规范定义维度维度是人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。维度是人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。业务过程业务过程是业务活动中不可拆分的事件，例如下单、支付和退款。创建业务过程，