尚硅谷实时数仓第36页

基于Apache Hudi 和 Apache Spark Sql 的近实时数仓架构之宽表建设

前言无论是在lamda架构还是kappa架构中，实时计算通常是使用flink+mq来实现的，而在这些场景中涉及到多张表join时，一般我们的使用方法是多张流表join如：RegularJoin、IntervalJoin，或者流表+维表的方式join如：Temporaljoin。但无论是那种方式都会存在一些问题，比如窗口开的过小，数据晚到导致数据丢失。窗口开的过大，内存占用过高，成本高，有被打爆的风

scx_white·2023-04-02 02:47

Vue2_尚品汇前端项目day04超详细笔记_尚硅谷

1）开发Search模块中的TypeNav商品分类菜单（过渡动画效果）过渡动画：前提组件|元素必要有v-if|v-show指令才可以进行过渡动画methods:{//当鼠标移入的时候，让商品分类列表进行展示enterShow(){if(this.$route.path!="/home"){this.show=true;}},//当鼠标离开的时候，让商品分类列表进行隐藏leaveShow(){//判

^ 猫酱 ^·2023-04-02 00:17

尚品汇项目开发记录

项目介绍根据Bilibili尚硅谷尚品汇项目记录自己的一些开发日志原项目视频地址：尚硅谷VUE项目实战，前端项目-尚品汇(大型\重磅)_哔哩哔哩_bilibili个人代码GitHub地址（开发中）：GitHub-Alvincn

Alvincnn·2023-04-02 00:01

尚品汇前端每日跟练笔记

尚硅谷商品笔记（天数是为了和视频分区，不是真实学习天数）Day11.vue-cli脚手架初始化项目node+webpack+淘宝镜像cnpmnode_modules文件夹：项目依赖文件夹public文件夹

女德班吊车尾·2023-04-02 00:30

Spring_基于xml自动装配

我看谁还在睡觉·2023-04-02 00:27

数据湖之Hudi基础：核心原理

继续Hudi核心概念参考官网描述与尚硅谷hudi公开资料文章目录基本概念时间轴TimeLine1.Instantsaction在表上执行的操作类型2.Instanttime3.State两个时间概念文件布局

小明同学YYDS·2023-04-01 23:41

MySQL学习笔记[b站尚硅谷2022]

一、数据库概述1.为什么使用数据库？实现数据持久化2.数据库与数据库管理系统2.1数据库的相关概念DB：数据库存储数据的仓库，其本质为一个文件系统。保存了一系列有组织的数据。DBMS：数据库管理系统是一种操纵和管理数据库的大型软件，用于建立、使用和维护数据库，对数据库进行统一管理和控制。用户通过数据库管理系统访问数据库中表内的数据。SQL：结构化查询语句专门用来与数据库通信的语句。2.2数据库与数

POLA_desu·2023-04-01 19:18

1、RocketMQ概述

文章目录1MQ概述1.1MQ简介1.2MQ用途1.3常见MQ产品1.4MQ常见协议2RocketMQ概述2.1RocketMQ简介2.2RocketMQ发展历程尚硅谷RocketMQ教程-讲师：Reythor

天宇阿·2023-04-01 18:46

基础篇18、MySQL8其它新特性

使用窗口函数前后对比2.2窗口函数分类2.3语法结构2.4分类讲解1序号函数2分布函数3前后函数4首尾函数5其他函数2.5小结3新特性2：公用表表达式3.1普通公用表表达式3.2递归公用表表达式3.3小结尚硅谷

天宇阿·2023-04-01 18:45

1、认识IntelliJ IDEA

IntelliJIDEA1.1JetBrains公司介绍1.2IntelliJIDEA介绍1.3IDEA的主要优势（对比Eclipse）1.3.1功能强大1.3.2符合人体工程学1.4IDEA的下载【尚硅谷

天宇阿·2023-04-01 18:15

基础篇17、触发器

文章目录1触发器概述2触发器的创建2.1创建触发器语法2.2代码举例3查看、删除触发器3.1查看触发器3.2删除触发器4触发器的优缺点4.1优点4.2缺点4.3注意点尚硅谷MySQL数据库教程-讲师：宋红康我们缺乏的不是知识

天宇阿·2023-04-01 18:15

尚硅谷2019年6月份结课的Java大数据+云计算实地培训视频教程

1.png(17.78KB,下载次数:0)下载附件23分钟前上传下载地址：http://www.feixueteam.net/thread-2352-1-1.html

飞雪雪团队·2023-04-01 12:50

MySQL基础_8_ 变量流程控制与游标

说明：最近5天看了尚硅谷康师傅（强推JVM）的MySQL基础篇，分享一下笔记，mark，mark！

＂hanhan_cxy ζ·2023-04-01 11:47

IDEA集成Git、Gitee、push推送、pull拉取、clone克隆【尚硅谷】

图文使用教程说明Git版本：v2.33.0IDEA版本：2021.1主要记录git的常用命令、IDEA集成git、git与GitHub、IDEA集成GitHub、Gitee等(详细图文步骤记录)配套视频参考：【尚硅谷

The..Fuir·2023-04-01 10:10

大数据技术架构_建设大数据中台架构思考与总结

数据中台定义：集成离线数仓与实时数仓，并以多数据源统一整合采集到kafka,再通过kafka进行离线数据仓库及实时数据仓库，并集用户标签，统一数据资产管理(对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示

weixin_39599705·2023-04-01 07:33

一文Git带你走进分布式版本控制系统并了解Git和SVN的区别

1、本博客主要参考尚硅谷的尚硅谷Git入门到精通全套教程（涵盖GitHub\Gitee码云\GitLab）视频教程，整理不易，还请读者见谅。

Man_Spring·2023-04-01 06:40

Git 学习笔记 - 尚硅谷 - Git基本操作/Github使用/Gitee/GitLab

Git版本控制BiliBili课程链接Github项目链接（包含课程的项目和本文笔记）文章目录Git版本控制0.笔记大纲1.Git1.1Git1.2版本控制介绍1.3版本控制工具1.3.1集中式版本控制工具1.3.2分布式版本控制工具1.4发展历史2.Git常用命令2.1底层命令2.2高层命令2.3Git分支命令`gitbranch``gitmerge``gitcheckout``gitstash

furoto_·2023-04-01 06:34

Java基础之接口(详细笔记)

视频：尚硅谷目录接口的本质接口的语法：接口的使用也满足多态

小吴有想法·2023-04-01 06:27

尚硅谷 java数据结构与算法学习笔记(一)

这里写目录标题线性结构和非线性结构稀疏数组SparseArray需求介绍实例代码实现代码执行结果队列介绍数组模拟队列思路代码实现问题数组模拟环形队列环形队列代码实现链表单链表不考虑排名考虑排名修改删除代码实现单链表面试题求单链表的有效节点的个数求单链表的倒数第K个节点单链表的反转(有点难度)从未到头打印单列表双向链表单链表的问题代码实现单项环形链表约瑟夫问题单向环形链表介绍思路分析栈介绍数组模拟栈

Java全栈百度工程师·2023-04-01 06:53

SpringCloud（二）—尚硅谷—微服务架构编码构建（5～14）

视频链接一.：约定>配置>编码（5～5）二.：IDEA新建project工作空间（5～7）1：微服务Cloud整体聚合父工程Project： 1）新建父工程步骤： -1：NewProject： -2：聚合总父工程名字： -3：Maven选版本： -4：工程名字：

张老师的分享·2023-04-01 05:33

尚硅谷—Cloud—微服务架构编码构建（5～14）

一：约定>配置>编码二：IDEA新建Project工作空间1）微服务cloud整体聚合父工程Project（构建步骤）a：NewProjectb：聚合总父工程名字c：Maven选版本d：工程名字e：字符编码f：注解生效激活g：java编译版本选择8h：Filetype过滤（清爽的菜单）2）父工程POM（）a：添加聚合项目的标识。b：删掉自己创建的SRC工作目录。c：pom4.0.0com.atgu

张老师的分享·2023-04-01 05:02

爬虫项目之豆瓣电影排行榜前10页

2、使用实例①获取网页源码②从服务器下载网页、图片、视频3、UA介绍①简介②实例三、项目详细讲解1、分析2、步骤（1）请求对象定制（2）获取响应数据（3）下载数据3、整体思路四、项目源码一、学习资源：尚硅谷

Begin to change·2023-04-01 03:09

IntelliJ IDEA 介绍

本专栏参考尚硅谷idea教程视频，笔记出自视频，稍微加入了少量个人理解IntelliJIDEA介绍IDEA，全称IntelliJIDEA，是Java语言的集成开发环境，IDEA在业界被公认为是最好的java

NGC 2237号·2023-04-01 02:30

Flink Yarn Java Api Application 模式发布应用

背景最近公司在做实时数仓,技术上选择flink作为数据处理引擎,同时需要将实时数仓cdc（ODS层），建模（DWD）等逻辑进行功能化集成到数据仓库中方便数仓开发人员进行使用。

systemup_v1·2023-04-01 02:31

云栖干货回顾 | 更强大的实时数仓构建能力！分析型数据库PostgreSQL 6.0新特性解读

AnalyticDBPG6.0版本大幅提升并发事务处理能力，更好的满足实时数仓场

Ta oo·2023-03-31 22:34

Flink + TiDB，体验实时数仓之美

▼关注「ApacheFlink」，获取更多技术干货▼摘要：本⽂由社区志愿者L帮忙整理，内容来源⾃王天宜在7月10日ApacheFlinkxTiDBMeetup·北京站分享的《Flink+TiDB，体验实时数仓之美

Apache Flink·2023-03-31 21:29

更强大的实时数仓构建能力！分析型数据库PostgreSQL 6.0新特性解读

AnalyticDBPG6.0版本大幅提升并发事务处理能力，更好的满足实时数仓场

阿里云技术·2023-03-31 21:28

【实时数仓】CDC简介、实现DWD层业务数据的处理（主要任务、接收kafka数据、动态分流*****）

文章目录一CDC简介1什么是CDC2CDC的种类3Flink-CDC二准备业务数据-DWD层1主要任务（1）接收Kafka数据，过滤空值数据（2）实现动态分流功能（3）把分好的流保存到对应表、主题中2接收Kafka数据，过滤空值数据（1）代码（2）测试3根据MySQL的配置表，进行动态分流（1）准备工作a引入pom.xml依赖b在Mysql中创建数据库c在gmall2022_realtime库中创

OneTenTwo76·2023-03-31 21:58

k8s笔记

内容来源bilibili教学：k8s教程由浅入深-尚硅谷文章目录前言1、k8s组件介绍1.1Pod/Pod控制器1.2Name/Namespace1.3Label/Label选择器1.4Service/

即客。·2023-03-31 21:33

大数据实战之路-实时数仓-实时数仓架构

流批一体架构技术栈开发语言（三者都可以）JavaScalaPython技术选型K8sDebeziumKafkaFlink(Hdfs,RockDB)ClickhouseDorisElasticSearchMySQLDataX(离线抽取,主要用于历史，历史数据初始化)批流一体架构架构实现步骤1.实时同步业务库数据到企业总线1.1SqlServer数据实时投递到Kafka1.2MySQL数据实时投递到K

《数据民工包工头》·2023-03-31 21:20

ETL工具NIFI的3种部署方式(免登录方式、单用户、多租户登录方式)

在实时数仓架构中，选一个得心应手的ETL工具，可以大大提高开发效率，节省人力成本。这里向大家推荐一款很好的、笔者已在生产环境中使用的、可以实现无代码编程的ETL工具：NIFI。

登峰大数据·2023-03-31 21:15

基于亚马逊云科技 Serverless架构的实时数仓架构

近年来，各级政府和企业响应数字化转型的号召，都已开始或者即将开始数字化转型。各类企业通过前期的业务线上化、信息化，积累了大量数据，而数字化转型就是要聚合这些数据，进行深入挖掘分析，用数据来驱动业务，用数据来支撑决策、用数据来推动业务和商业模式创新、推动业务流程优化，进而实现降本增效。要实现数据价值，建设数据仓库是在数字化转型过程中不得不面对的一项任务。数据仓库汇聚各个业务部门数据，避免数据孤岛，使

登峰大数据·2023-03-31 21:45

1.实时数仓-典型应用场景

1.CDC备注：flink中已经实现了cdc机制，相比上图spark对cdc的实现更加简洁高效，对于做db数据全量和增量同步；2.ETL3.实时数仓典型技术架构

mask哥·2023-03-31 21:44

Flink实时数仓第一篇数据接入

Flink实时数仓第一篇数据接入欢迎来到实时数仓1.为什么选择Hbase中转，而不是直接入Hive？2.oracle接入为什么这么复杂？3.不支持的cdc数据源怎么办？

chenzuoli·2023-03-31 21:43

菜鸟实时数仓2.0进阶之路

分享嘉宾：张庭菜鸟数据工程师文章整理：comn出品平台：DataFunTalk导读：供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。

Wang_AI·2023-03-31 21:41

实时数仓架构哪些事儿(续13-PostgreSQL CDC数据实时接入Kudu)

书接前文，在上一节中，我们将MysqlCDC数据实时接入了ImpalaKudu表。完整的数据流向如下图所示：图中MYSQL和SQLSERVER数据库的CDC数据采集，在本系列中已经讲解，本节给大家分享下PostgreSQL数据库的CDC数据采集和DDL监控。在正式进行实战操作之前，请先学习Mysql连接器的使用方法，因为很多的配置都是相同的。本文主要解释下PostgreSQL连接器特有的内容。再次

登峰大数据·2023-03-31 21:26

MyBatis中log4j.xml日志文件配置

发布原因：网上一些MyBatis的log4j.xml文件配置时间距离比较长，并且尚硅谷SSM视频学习过程中有些小伙伴可能没有笔记，无法找到log4j.xml文件内容。

捶捶自己·2023-03-31 18:57

DLink 流批一体技术架构及优势 | 滴普科技FastData系列解读

二、需求背景传统的基于离线（比如Hive）数仓有很高的成熟度和稳定性，但在一些时延要求比较高的场景，则需要借助实时数仓Flink的帮助，将延时降低到秒级（或分钟级

滴普科技·2023-03-31 18:15

MySQL---第07章_单行函数

第07章_单行函数讲师：尚硅谷-宋红康（江湖人称：康师傅）官网：http://www.atguigu.com1.显示系统时间(注：日期+时间)SELECTnow()FROMDUAL;2.查询员工号，姓名

饿了就干饭·2023-03-31 17:56

阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时数仓

企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。

小晨说数据·2023-03-31 16:44

Vue学习笔记（尚硅谷天禹老师）

1.Vue1.1Vue的特点遵循MVVM模式编码简洁，体积小，运行效率高，适合移动/PC端开发它本身只关注UI，可以引入其它第三方库开发项目1.2与其他JS框架的关联借鉴Angular的模板和数据绑定技术借鉴React的组件化和虚拟DOM技术1.3数据绑定数据绑定单向数据绑定：双向数据绑定：Vue.config.productionTip=falsenewVue({el:'#root',data:

·某某··2023-03-31 12:23

大数据架构演变之路

一、JavaWeb为什么需要大数据二、数据库-OLTP&数据仓库-OLAP三、大数据架构演变1.传统离线大数据架构2.Lambda架构（离线处理+实时链路）离线数仓+实时数仓3.Kappa架构四、架构选择五

紫罗兰盛开·2023-03-31 08:35

【JavaWeb】初识servlet

这里借下尚硅谷教程中的图一定要注意路径问题。工程路径指服务器（如tomcat的部署路径）如下图这里的路径就是工程路径，也是tomcat启动后访问的初始路径。

LayfolkA·2023-03-31 08:22

大数据架构演变

大数据架构演变一、传统离线大数据架构二、Lambda架构（离线处理+实时链路）-传统实时开发三、Lambda架构（离线数仓+实时数仓）四、Kappa架构五、架构选择：六、湖仓一体（流批一体）实时数仓架构七

LG_985938339·2023-03-31 07:15

数据中台05：数据中台之数据加工总线

一、目前大数据领域实时计算的现状随着大数据行业的整体发展，企业对实时计算的需求越来越多，特别是在构建实时数仓的时候，需要接入很多实时数据源，并且数仓还是分层的，针对每一层的数据都需要进行实时计算，此时就需要开发很多实时计算程序

做一个有趣的人Zz·2023-03-31 07:31

【珍藏版】⼤数据中台架构及解决⽅案

持续输出敬请关注大数据架构湖仓一体化流批一体离线+实时数仓各种大数据解决方案各种大数据新技术实践持续输出敬请关注⼤数据平台基础架构及解决⽅案_大数据研习社的博客-CSDN博客https://blog.csdn.net

大数据研习社·2023-03-31 06:59

浅谈flink-cdc的使用

标题:浅谈flink-cdc的使用日期:2021-12-1814:31:13标签:flink分类:[实时数仓,flink,flink-cdc]最近使用flinkcdc1.x，生产上碰到了许多问题，这里给大家罗列一下

chenzuoli·2023-03-31 06:25

flink的Oracle-cdc如何实现

标题:flink的Oracle-cdc如何实现日期:2021-08-0814:33:39标签:[flink,oracle]分类:实时数仓今天来说说如何实时接入oracle的数据，官方没有提供oracle-cdc

chenzuoli·2023-03-31 06:24

谷粒商城一介绍及基本架构todo

谷粒商城主要是看尚硅谷在B站的教程，由于项目成熟，从开发到部署很完整，百度的生态也很好，决定从0开始开发谷粒商城，直到部署上线。

阿无，·2023-03-31 03:34

【硬刚大数据】Flink在实时在实时计算平台和实时数仓中的企业级应用小结

欢迎关注博客主页：https://blog.csdn.net/u013411339欢迎点赞、收藏、留言，欢迎留言交流！本文由【王知无】原创，首发于CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的面试部分补充。大数据领域自2010年开始，以Hadoop、Hive为代表的离线计算开始进入各大公司的视野。

王知无(import_bigdata)·2023-03-31 01:41

推荐频道

尚硅谷实时数仓