数仓学习专栏第39页

hive的常规操作

1、首先说说数仓与Hive数据仓库，简单来说就是，企业利用其自身和行业本身的历史数据进行智能化统计分析，从中分析、挖掘出有价值的数据，为领导层提供科学的决策支持，作用是改善企业业务流程、运行成本、企业效益和提高用户体验

zeroLinked·2023-04-01 05:00

Flink Yarn Java Api Application 模式发布应用

背景最近公司在做实时数仓,技术上选择flink作为数据处理引擎,同时需要将实时数仓cdc（ODS层），建模（DWD）等逻辑进行功能化集成到数据仓库中方便数仓开发人员进行使用。

systemup_v1·2023-04-01 02:31

【大数据Hive3.x数仓开发】数仓基础理论

目录概念OLTP数仓的构建数仓体系图特征OLTPVSOLAP数据库VS数据仓库数据仓库VS数据集市数仓分层架构ODS层DW层DA层分层好处ETLVSELT注：学习课程：黑马程序员Hive全套教程，大数据

锵锵锵锵~蒋·2023-03-31 22:29

聊聊数据仓库中的缓慢变化维度（SCD）

虽然我的主业是实时计算和批量计算，并不是数仓，但是在日常工作中绝对少不了与数仓打交道。并且我也算是参与过离线数仓建设的，维度建模的基础还是不能忘。本文就作为一篇抄书笔记吧。

LittleMagic·2023-03-31 22:53

云栖干货回顾 | 更强大的实时数仓构建能力！分析型数据库PostgreSQL 6.0新特性解读

AnalyticDBPG6.0版本大幅提升并发事务处理能力，更好的满足实时数仓场

Ta oo·2023-03-31 22:34

Flink + TiDB，体验实时数仓之美

Apache Flink·2023-03-31 21:29

更强大的实时数仓构建能力！分析型数据库PostgreSQL 6.0新特性解读

AnalyticDBPG6.0版本大幅提升并发事务处理能力，更好的满足实时数仓场

阿里云技术·2023-03-31 21:28

【实时数仓】CDC简介、实现DWD层业务数据的处理（主要任务、接收kafka数据、动态分流*****）

文章目录一CDC简介1什么是CDC2CDC的种类3Flink-CDC二准备业务数据-DWD层1主要任务（1）接收Kafka数据，过滤空值数据（2）实现动态分流功能（3）把分好的流保存到对应表、主题中2接收Kafka数据，过滤空值数据（1）代码（2）测试3根据MySQL的配置表，进行动态分流（1）准备工作a引入pom.xml依赖b在Mysql中创建数据库c在gmall2022_realtime库中创

OneTenTwo76·2023-03-31 21:58

记录一次实时应用场景下，数仓获取Oracle数据遇到的坑

其中涉及到实时产量和设备状态等信息数据刷新频次要求较高，涉及到Oracle的CDC(实时数据变更获取)，原计划是直接通过logminer解析MES的报表库日志设备状态有上位机的设备调用MESWebservice接口，返回的数据写入MES同时也写入数仓

cpGG·2023-03-31 21:26

大数据实战之路-实时数仓-实时数仓架构

流批一体架构技术栈开发语言（三者都可以）JavaScalaPython技术选型K8sDebeziumKafkaFlink(Hdfs,RockDB)ClickhouseDorisElasticSearchMySQLDataX(离线抽取,主要用于历史，历史数据初始化)批流一体架构架构实现步骤1.实时同步业务库数据到企业总线1.1SqlServer数据实时投递到Kafka1.2MySQL数据实时投递到K

《数据民工包工头》·2023-03-31 21:20

ETL工具NIFI的3种部署方式(免登录方式、单用户、多租户登录方式)

在实时数仓架构中，选一个得心应手的ETL工具，可以大大提高开发效率，节省人力成本。这里向大家推荐一款很好的、笔者已在生产环境中使用的、可以实现无代码编程的ETL工具：NIFI。

登峰大数据·2023-03-31 21:15

基于亚马逊云科技 Serverless架构的实时数仓架构

近年来，各级政府和企业响应数字化转型的号召，都已开始或者即将开始数字化转型。各类企业通过前期的业务线上化、信息化，积累了大量数据，而数字化转型就是要聚合这些数据，进行深入挖掘分析，用数据来驱动业务，用数据来支撑决策、用数据来推动业务和商业模式创新、推动业务流程优化，进而实现降本增效。要实现数据价值，建设数据仓库是在数字化转型过程中不得不面对的一项任务。数据仓库汇聚各个业务部门数据，避免数据孤岛，使

登峰大数据·2023-03-31 21:45

1.实时数仓-典型应用场景

1.CDC备注：flink中已经实现了cdc机制，相比上图spark对cdc的实现更加简洁高效，对于做db数据全量和增量同步；2.ETL3.实时数仓典型技术架构

mask哥·2023-03-31 21:44

Flink实时数仓第一篇数据接入

Flink实时数仓第一篇数据接入欢迎来到实时数仓1.为什么选择Hbase中转，而不是直接入Hive？2.oracle接入为什么这么复杂？3.不支持的cdc数据源怎么办？

chenzuoli·2023-03-31 21:43

菜鸟实时数仓2.0进阶之路

分享嘉宾：张庭菜鸟数据工程师文章整理：comn出品平台：DataFunTalk导读：供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。

Wang_AI·2023-03-31 21:41

实时数仓架构哪些事儿(续13-PostgreSQL CDC数据实时接入Kudu)

书接前文，在上一节中，我们将MysqlCDC数据实时接入了ImpalaKudu表。完整的数据流向如下图所示：图中MYSQL和SQLSERVER数据库的CDC数据采集，在本系列中已经讲解，本节给大家分享下PostgreSQL数据库的CDC数据采集和DDL监控。在正式进行实战操作之前，请先学习Mysql连接器的使用方法，因为很多的配置都是相同的。本文主要解释下PostgreSQL连接器特有的内容。再次

登峰大数据·2023-03-31 21:26

DLink 流批一体技术架构及优势 | 滴普科技FastData系列解读

二、需求背景传统的基于离线（比如Hive）数仓有很高的成熟度和稳定性，但在一些时延要求比较高的场景，则需要借助实时数仓Flink的帮助，将延时降低到秒级（或分钟级

滴普科技·2023-03-31 18:15

数仓基础+ONEDATA建模+各类事实表比较

目录一、什么是数仓？二、为什么要对数据仓库进行建模？

ListenerDMT·2023-03-31 16:37

阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时数仓

企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。

小晨说数据·2023-03-31 16:44

数字化转型的本质、路径、阶段和挑战，一篇讲明白

来源：数仓宝贝库01企业数字化转型的本质数字化可以将人类所处的真实世界和虚拟数字连接起来，从中寻求全新的商业模式。

weixin_38754337·2023-03-31 13:49

大数据架构演变之路

一、JavaWeb为什么需要大数据二、数据库-OLTP&数据仓库-OLAP三、大数据架构演变1.传统离线大数据架构2.Lambda架构（离线处理+实时链路）离线数仓+实时数仓3.Kappa架构四、架构选择五

紫罗兰盛开·2023-03-31 08:35

大数据架构演进

1、数仓架构演变（场景驱动）1.1经典数仓架构数据仓库概念是Inmon于1990年提出并给出了完整的建设方法1.2离线大数据架构随着互联网时代来临，数据量暴增，开始使用大数据工具来代替经典数仓中的传统工具此时仅仅是工具的取代

「miraitowa」·2023-03-31 08:30

数据仓库概念

目录数仓概念数仓专注分析数仓主要特征面向主题性（Subject-Oriented）集成性（Integrated）非易失性、非异变性（Non-Volatile）时变性（Time-Variant）数仓概念1

Darcy cui·2023-03-31 07:42

大数据架构演变

大数据架构演变一、传统离线大数据架构二、Lambda架构（离线处理+实时链路）-传统实时开发三、Lambda架构（离线数仓+实时数仓）四、Kappa架构五、架构选择：六、湖仓一体（流批一体）实时数仓架构七

LG_985938339·2023-03-31 07:15

数据中台05：数据中台之数据加工总线

一、目前大数据领域实时计算的现状随着大数据行业的整体发展，企业对实时计算的需求越来越多，特别是在构建实时数仓的时候，需要接入很多实时数据源，并且数仓还是分层的，针对每一层的数据都需要进行实时计算，此时就需要开发很多实时计算程序

做一个有趣的人Zz·2023-03-31 07:31

【珍藏版】⼤数据中台架构及解决⽅案

持续输出敬请关注大数据架构湖仓一体化流批一体离线+实时数仓各种大数据解决方案各种大数据新技术实践持续输出敬请关注⼤数据平台基础架构及解决⽅案_大数据研习社的博客-CSDN博客https://blog.csdn.net

大数据研习社·2023-03-31 06:59

浅谈flink-cdc的使用

标题:浅谈flink-cdc的使用日期:2021-12-1814:31:13标签:flink分类:[实时数仓,flink,flink-cdc]最近使用flinkcdc1.x，生产上碰到了许多问题，这里给大家罗列一下

chenzuoli·2023-03-31 06:25

flink的Oracle-cdc如何实现

标题:flink的Oracle-cdc如何实现日期:2021-08-0814:33:39标签:[flink,oracle]分类:实时数仓今天来说说如何实时接入oracle的数据，官方没有提供oracle-cdc

chenzuoli·2023-03-31 06:24

数据分层的思考

在数据流上来看，数据在数仓中的流动应当是单向的，从上游到下游，在单层中的数据，也应当是单向的，既数据间的依赖关系，如下图应当

板蓝根泡泡面·2023-03-31 05:56

数仓开发需要了解的5大SQL分析函数

基本语法analytic_function_name([argument_list])OVER([PARTITIONBYpartition_expression,…][ORDERBYsort_expression,…[ASC|DESC]])analytic_function_name:函数名称—比如RANK(),SUM(),FIRST()等等partition_expression:分区列sort

大数据技术与数仓·2023-03-31 03:26

数仓学习笔记(12)——集群监控(Zabbix)

目录一、Zabbix入门1、Zabbix概述2、Zabbix基础架构二、Zabbix部署1、集群规划2、准备工作3、启动停止Zabbix3.1启动Zabbix3.2停止Zabbix3.3连接Zabbix_Web数据库3.4登录Zabbix三、Zabbix使用1、Zabbix术语2、Zabbix实战2.1创建Host2.2创建监控项（Items）2.3创建触发器（Trigger）2.4创建动作（Ac

默萧756·2023-03-31 03:50

【硬刚大数据】Flink在实时在实时计算平台和实时数仓中的企业级应用小结

欢迎关注博客主页：https://blog.csdn.net/u013411339欢迎点赞、收藏、留言，欢迎留言交流！本文由【王知无】原创，首发于CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的面试部分补充。大数据领域自2010年开始，以Hadoop、Hive为代表的离线计算开始进入各大公司的视野。

王知无(import_bigdata)·2023-03-31 01:41

Flink--- 批处理 / 流处理

传统数据处理架构事务处理分析处理：将数据从业务数据库复制到数仓，再进行分析和查询流处理的演变lambda

Hyf 。·2023-03-31 00:09

Redis 大数据量（百亿级）Key存储需求及解决方案

作者：小热爱来源：juejin.cn/post/6956147115286822948最近我在思考实时数仓问题的时候，想到了巨量的redis的存储的问题，然后翻阅到这篇文章，与各位分享一需求背景该应用场景为

架构师小秘圈·2023-03-30 19:31

【Hive】什么是数据仓库？数据仓库和数据库有什么关系？

shell参数六、Hive的内置函数和自定义函数文章目录1.1基本概念1.2主要特征1.3数据库与数据仓库的区别OLTPOLAP1.4数据仓库的分层架构源数据层（ODS）数据仓库层（DW）数据应用层1.5数仓的元数据管理

快乐的冲浪码农·2023-03-30 17:15

Hive数仓项目架构说明、环境搭建及数据仓库基础知识

：1)教育项目的架构说明(理解)2)clouderamanager基本介绍(了解)3)教育项目环境搭建(参考搭建笔记,搭建成功)4)数据仓库的基本介绍(回顾)--理解5)维度分析的基本内容--理解6)数仓建模的基本内容

黑马程序员官方·2023-03-30 16:23

数仓简介及hive全面总结

1.数据仓库主要特征数据仓库是面向主题的（Subject-Oriented）、集成的（Integrated）、稳定的（Non-Volatile）和时变的（Time-Variant）数据集合，用以支持管理决策。主题性：指的是分析的需求集成性：数据仓库中数据来源于各个数据源，将各个数据源聚合在一起稳定性：存在数据仓库的数据，都是已经发生过得数据，这些数据不允许修改时变性：随着时间的推移，数据也在不断

erainm·2023-03-30 16:50

概念-数据域是什么？

后来在实际工作中，慢慢的把数据域的划分当做数仓表分类来做，发现基于这样的定义，数据域还是很有价值的。也许跟原本真实的含义差

钱锋0519·2023-03-30 16:28

浅谈大数据标签平台

写这篇文章的契机是几个数仓的哥们，问到了这方面的问题，正好我也可以总结一下。

北方~·2023-03-30 14:54

数仓、数据湖与湖仓一体化

伴随5G、大数据、AI、IoT的飞速发展，数据呈现大规模、多样性的高速增长。为了应对更加复杂多变的业务需求，许多机构对数据处理的实时性和融合性提出了更高的要求，“湖仓一体”的概念应运而生，它打破了数据仓库和数据湖之间的壁垒，使得割裂的数据融合统一，减少了数据分析中的搬迁，实现了统一的数据管理，有利于发现更多数据价值。01什么是数据仓库？数据仓库，英文名称为DataWarehouse，可简写为DW或

zxe King·2023-03-30 14:01

关于数据湖数据仓库和湖仓一体

1、数据仓库：传统的数仓ETL建模和分析处理，一般存储良好建模后的数据，主要是sql计算2、数据湖：基于原始的半结构化、非结构化数据，使用分布式的计算任务进行分析和处理，不是基于良好建模的数仓，强调数据的动态模型

eric1984·2023-03-30 13:48

【实时数仓】热度关键词接口、项目整体部署流程

文章目录一热度关键词接口1Sugar配置（1）图表配置（2）接口地址（3）数据格式（4）执行SQL2数据接口实现（1）创建关键词统计实体类（2）Mapper层：创建KeywordStatsMapper（3）Service层：创建KeywordStatsService接口（4）Service层：创建KeywordStatsServiceImpl（5）Controller层：在SugarControl

OneTenTwo76·2023-03-30 09:35

java做用户画像_用户画像之标签查询(附源码)

转自：https://blog.csdn.net/appearb...目录1.简介2.架构图3.表结构4.标签筛选人群1.请求格式2.人群筛选1.简介通过处理数仓中的业务数据和埋点数据，生成用户对应的标签

giao金·2023-03-30 09:59

用户画像系列第三篇：数据架构

下图是一个用户画像数仓的架构图。用户画像数仓架构图中最下方的虚线框中

Sunny️·2023-03-30 08:14

【用户画像】用户画像简介、用户画像的架构、搭建用户画像管理平台

标签分类二用户画像的架构1画像处理流程2画像标签数据应用3用户画像管理平台三搭建用户画像管理平台1一些问题2启动服务（1）数据库建表脚本（2）配置修改一用户画像简介1用户画像数据仓库是大数据体系的基石，用户画像是建立在数仓之上的一种应用

OneTenTwo76·2023-03-30 08:23

数仓（三）简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构

上一篇我们介绍了数据集市的概念以及它和数仓的区别，并且重点论述了大数据数仓中的分层架构体系。

浪尖聊大数据-浪尖·2023-03-30 02:09

关于数仓及其分层

目录一、基本介绍二、数据仓库的特点1、面向主题2、数据集成3、相对稳定4.反映历史变化三、数仓工具1、一般工具2、大数据学习工具之Hive2.1Hive的大数据学习优势2.2Hive数据仓库架构及原理四

Dylan~·2023-03-30 02:03

原创|实时数仓实战项目-第二节（数仓分层）

实时数仓如何做数据分层我不喜欢搞什么花里胡哨的词汇，让粉丝听着挠头，我就想用大白话分享我自己的建设思路和方案。在开始分享之前，我想给兄弟们说一下数仓建设的方法论：“因地制宜，以业务为中心”。

小晨说数据·2023-03-30 01:10

从0到1简单搭建加载数仓DWD层（业务数据解析）

来源：畅谈Fintech上一节我们讲解了数仓DWD层（用户行为日志数据）的搭建、解析、加载。并且讲解了通过编写java代码来实现UDTF功能。