数仓学习专栏

数仓建设中，数据治理如何切入

在数仓建设中，数据治理扮演着至关重要的角色，它不仅有助于确保数据的质量和安全性，还能提高数据的可用性和可理解性。本文将探讨数据治理在数仓建设中的切入点和关键作用。
云长歌·2023-11-11 10:14

【算法 | 模拟No.4】AcWing 756. 蛇形矩阵 & AcWing 40. 顺时针打印矩阵

个人主页：兜里有颗棉花糖欢迎点赞收藏✨留言✉加关注本文由兜里有颗棉花糖原创收录于专栏【手撕算法系列专栏】【AcWing算法提高学习专栏】本专栏旨在提高自己算法能力的同时，记录一下自己的学习过程，希望对大家有所帮助希望我们一起努力
兜里有颗棉花糖·2023-11-11 09:35

【全网首发】【Python】Python控制parrot ARDrone 2.0无人机

欢迎来到Python专栏~Python控制parrotARDrone2.0无人机☆*o(≧▽≦)o*☆嗨~我是小夏与酒✨博客主页：小夏与酒的博客该系列文章专栏：Python学习专栏文章作者技术和水平有限
小夏与酒·2023-11-11 04:33

数据仓库-业务数据采集（基于物流数仓）

0、物流数仓架构这里的数据采集的架构就是：在业务数据进入MySQL之后，部分表通过DataX全量同步到HDFS，部分表通过Flink-CDC的增量同步方式同步到Kafka，再通过Flume将数据从Kafka
小鱼干换酒钱·2023-11-11 01:40

数据仓库数据同步策略

1.实时数仓同步数据实时数仓数据由Flink源源不断从Kafka当中读数据计算，无需手动同步数据到实时数仓。
DB架构·2023-11-11 01:09

Hive数据仓库知识点总结

文章目录数据仓库概念主要特征数仓和数据库的区别数仓的分层ETL概念Hive框架介绍和安装Hive的概述Hive的特点Hive的架构Hive的交互方式Hive的基础操作Hive的数据库操作Hive的表操作
shmily_lee·2023-11-11 01:39

【算法 | 数论 No.1】AcWing1246. 等差数列

个人主页：兜里有颗棉花糖欢迎点赞收藏✨留言✉加关注本文由兜里有颗棉花糖原创收录于专栏【手撕算法系列专栏】【AcWing算法提高学习专栏】本专栏旨在提高自己算法能力的同时，记录一下自己的学习过程，希望对大家有所帮助希望我们一起努力
兜里有颗棉花糖·2023-11-10 22:33

治理效率提升77%！揭秘基于DataLeap实时健康分的最佳实践

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群背景某企业实时数仓团队通过数据收集、整合、计算和存储构建实时数据仓库，为企业提供快速、准确、可靠的实时数据分析和决策支持
字节数据平台·2023-11-10 11:50

直播实时数仓基于DataLeap开放平台在发布管控场景的业务实践

原有离线批处理的数据仓库已经无法满足诉求，因此需要打造一套同时具备高时效性和高稳定性的计算能力快速完成对数据的处理，即实时数仓。团队介绍直播实时数仓团队隶属于Data-数据平台部门，负责为直播中台业
字节数据平台·2023-11-10 11:14

数据湖浅析(以hudi为例)

数据湖定义业界对于数据湖的定义存在一定争议，个人认为数据湖就是针对传统hive数仓不支持acid、upsert、schemaevolution等痛点上，提出的一种数据存储库。
weixin_45626756·2023-11-10 06:44

代码随想录训练营Day1:二分查找与移除元素

本专栏内容为：代码随想录训练营学习专栏，用于记录训练营的学习经验分享与总结。
小小unicorn·2023-11-10 04:32

数仓增量表、全量表、快照表、拉链表

1、增量表增量表：新增数据，增量的数据是上次导出之后的新数据。（1）记录每次增加的量，而不是总量（2）增量表，只报变化量，无变化不用报（3）每天一个分区2、全量表全量表：每天的所有的最新状态的数据（1）全量表，有无变化，都要报（2）每次上报的数据是所有的数据（变化的+没有变化的）（3）只有一个分区3、快照表快照表：按日分区，记录截止数据日期的全量数据（1）快照表，有无变化，都要报（2）每次上报的数
使不得呀·2023-11-09 18:40

如何撰写数据中台蓝图方案

数据中台是基于公司的三款核心产品DAP、MDM和ESB组成的解决方案，主要实现基于数据治理分析的中台建设，通过MDM将企业内部的基础数据标准化、规范化、整合化后，由DAP进行数仓建设以及最终的数据分析的可视化展现
数通畅联·2023-11-09 15:02

尚硅谷大数据项目《在线教育之实时数仓》笔记007

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第9章数仓开发之DWD层P053P054P055P056P057P058P059P060P061P062P063P064P065
upward337·2023-11-09 10:28

20000字详解大厂实时数仓建设（好文收藏）

一、实时数仓建设背景1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。
zhisheng_blog·2023-11-09 03:36

面经-数仓-高途

1.hive和spark差异，优劣2.sql连续3天登陆3.sql行转列，列转行4.多维度groupingsets5.python装饰器6.数据质量7.sql关联键数据类型不一致，会有什么结果1.flink过程，算子2.druid和其他框架3.ch4.es和mysql和hbase
piscessssss·2023-11-09 03:06

博时基金数据开发面经

4、数仓的数据量多大？5、除了o层，数仓有多少任务？6、数仓的任务要跑多久？7、外部数据平台数据的流向？8、外部数据平台有哪些数据入到数仓？9、数据交换平台的应用场景？10、你们大数据平台几个节点？
大数据的奇妙冒险·2023-11-09 03:06

数仓面试题（3）

1.内部表和外部表的区别：内部表是存储在关系型数据库中的表，而外部表是存储在文件系统或其他数据源中的表。内部表的数据由数据库管理系统进行管理和访问，而外部表则需要使用特定的连接器或接口进行访问和操作。此外，内部表的存储空间是有限的，而外部表则可以存储非常大的数据集。2.MapReduce的工作流程：MapReduce是一种编程模型，用于处理大规模数据集。它分为两个阶段：Map阶段和Reduce阶段
Young_IT·2023-11-09 03:34

大数据入职阿里云面经

条理清晰阅读方便，转载是为了方便以后个人查阅https://mp.weixin.qq.com/s/F2TiFw-LYFXMRj_hsD-TIw一、面试准备面试前，我花了很多时间，对项目进行了梳理，尤其在业务数仓的分层和多维数据模型设计这块
Zsigner·2023-11-09 03:34

数仓经典面试题

1.什么是数据仓库？请谈谈你对数据仓库的理解。数据仓库是一个用于存储和管理数据的系统，它可以将分散的、异构的数据源中的数据进行抽取、转换、清洗和整合，然后按照一定的模型和架构进行组织和存储，以便更好地支持决策分析和业务操作。数据仓库通常包括数据源、ETL（提取、转换、加载）过程、数据存储和数据查询等组成部分。2.什么是数据中台？请谈谈你对数据中台的理解。数据中台是一个集数据采集、数据处理、数据存储
Young_IT·2023-11-09 03:04

数仓面经大框架

1.计算机及编程基础：操作系统：进程、线程等数据结构：算法题计算机网络：分层等Linux：常用的指令MySQL（重点）Java/Python基础排序算法（快排、归并等）2.大数据组件Hadoop:HDFS(重点)，MapReduce(重点),YarnSparkHive从功能，原理，组成，运行流程调优(重点)，Hive调优(参数、sql)，Spark调优(资源、开发算子、数据倾斜、参数)3.数据仓库
Young_IT·2023-11-09 02:03

Databend 开源周报第 113 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-08 20:08

Databend 开源周报第 114 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-08 20:08

Databend 开源周报第 117 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-08 20:08

Databend 开源周报第 118 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-08 20:36

带你拿捏链表

本专栏内容为：数据结构学习专栏，分为初阶和进阶两部分。通过本专栏的深入学习，你可以了解并掌握数据结构。
小小unicorn·2023-11-08 15:36

【C++初阶（四）aoto关键字与基于范围的for循环】

本专栏内容为：C++学习专栏，分为初阶和进阶两部分。通过本专栏的深入学习，你可以了解并掌握C++。
小小unicorn·2023-11-08 15:36

【C++初阶（五）类和对象（上）】

本专栏内容为：C++学习专栏，分为初阶和进阶两部分。通过本专栏的深入学习，你可以了解并掌握C++。
小小unicorn·2023-11-08 15:27

Flink SQL TopN语句详解

TopN定义（⽀持Batch\Streaming）：TopN对应离线数仓的row_number()，使⽤row_number()对某⼀个分组的数据进⾏排序。
猫猫爱吃小鱼粮·2023-11-08 09:14

基于亚马逊云科技Serverless架构的实时数仓架构

近年来，各级政府和企业响应数字化转型的号召，都已开始或者即将开始数字化转型。各类企业通过前期的业务线上化、信息化，积累了大量数据，而数字化转型就是要聚合这些数据，进行深入挖掘分析，用数据来驱动业务，用数据来支撑决策、用数据来推动业务和商业模式创新、推动业务流程优化，进而实现降本增效。要实现数据价值，建设数据仓库是在数字化转型过程中不得不面对的一项任务。数据仓库汇聚各个业务部门数据，避免数据孤岛，使
Discovering_·2023-11-08 05:50

数仓删数方案

数仓删数一、源头逻辑删除二、源头物理删除方案一:物理删除方案二:逻辑删除一、源头逻辑删除源头有逻辑删除标志的话,数仓直接同步过来,推数的时候可限制isvalid=1二、源头物理删除数仓中的数据需要与源头进行全量核对方案一
我爱夜来香A·2023-11-07 13:56

Lambda 架构 vs Kappa 架构

大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓https://www.cnblogs.com/robots2/p/17769376.html大数据架构设计
flying jiang·2023-11-07 12:58

【hcie-cloud】【2】华为云Stack解决方案介绍、缩略语整理 【下】

MRS：一个架构可构建三种数据湖，业务场景更丰富离线数据湖：提供云原生、湖仓一体的企业级数据湖实时数据湖：自研CDL引擎，打通实时数据湖的“最后一公里”逻辑数据湖：通过自研HetuEngine实现数据湖与数仓协同
҉人间无事人·2023-11-07 08:55

flinksql如何关联mysql维表_Flink实战（八十三）：flink-sql使用（十）维表join（五）Flink SQL之维表join之Temporal Table Join...

utm_source=qq维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。
axiao2·2023-11-07 05:39

flink sql 流 join （上）(转)

1.序篇下面即是文章目录，也对应到本文的结论，小伙伴可以先看结论快速了解本文能给你带来什么帮助：背景及应用场景介绍：join作为离线数仓中最常见的场景，在实时数仓中也必然不可能缺少它，flinksql提供的丰富的
newbei5862·2023-11-07 05:06

实时数仓|Flink SQL之维表join

维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。
大数据技术与数仓·2023-11-07 05:05

pytroch、tensorflow对比学习—搭建模型范式（构建模型方法、训练模型范式）

搭建模型范式（构建模型方法、训练模型范式）前言本文是《pytorch-tensorflow-Comparativestudy》，pytorch和tensorflow对比学习专栏，第四章——搭建模型范式（
卖香油的少掌柜·2023-11-07 03:06

Apache Doris在美团外卖数仓中的应用实践

本文将介绍Doris在美团外卖数仓的实践。序言本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。
架构师小秘圈·2023-11-07 03:25

尚硅谷大数据项目《在线教育之实时数仓》笔记006

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第9章数仓开发之DWD层P041P042P043P044P045P046P047P048P049P050P051P052第
upward337·2023-11-06 22:49

【深度学习】pytorch——神经网络工具箱nn

笔记为自我总结整理的学习笔记，若有错误欢迎指出哟~深度学习专栏链接：http://t.csdnimg.cn/dscW7pytorch——神经网络工具箱nn简介nn.Modulenn.Module实现全连接层
今天有没有吃饱饱·2023-11-06 15:17

【深度学习】pytorch——Autograd

笔记为自我总结整理的学习笔记，若有错误欢迎指出哟~深度学习专栏链接：http://t.csdnimg.cn/dscW7pytorch——AutogradAutograd简介requires_grad计算图没有梯度追踪的张量
今天有没有吃饱饱·2023-11-06 15:38

面试必问的 MySQL，你懂了吗？

MySql学习专栏1.MySQL基础架构详解2.MySQL索引底层数据结构与算法3.MySQL5.7开启binlog日志，及数据恢复简单示例4.MySQL日志模块5.MySQL的MVCC及实现原理6.MySQL
给自己一个 smile·2023-11-06 13:08

Hologres 助力飞猪双11实时数据大屏秒级响应

摘要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（下称Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。
阿里云技术·2023-11-06 11:04

大数据平台之数据存储

数据仓库3.2数据湖4.数据存储的方式4.1批处理的数据存储4.2实时处理的数据存储1.大数据生态技术数据存储处理:清洗,关联,规范化,组织建模,通过数据质量的检测,数据分析然后提供相应的数据服务离线数仓
959y·2023-11-05 22:25

【Linux系统化学习】基础开发工具——make和makefile

=========================================================================个人主页点击直达：小白不是程序媛Linux学习专栏：Linux
小白不是程序媛·2023-11-05 19:53

求解TOPK问题

本专栏内容为：数据结构学习专栏，分为初阶和进阶两部分。通过本专栏的深入学习，你可以了解并掌握数据结构。
小小unicorn·2023-11-05 16:13

Hive综合实例——陌陌聊天数据分析

基于Hive数仓实现需求开发--本地(指hive服务所在的主机)加载数据loaddatalocalinpath'/root/hivedata/data1.tsv'intotabledb_msg.tb_msg_source
爱吃薄荷糖的喵喵·2023-11-04 21:13

【Hadoop】四、Hadoop生态综合案例 ——陌陌聊天数据分析

文章目录四、Hadoop生态综合案例——陌陌聊天数据分析1、陌陌聊天数据分析案例需求1.1、背景介绍1.2、目标需求1.3、数据内容2、基于Hive数仓实现需求开发2.1、建库建表、加载数据2.2、ETL
陌上人如玉এ·2023-11-04 21:10

大数据之陌陌聊天数据分析案例

目录目标需求数据内容基于Hive数仓实现需求开发1.建库建表、加载数据2.ETL数据清洗3需求指标统计目标需求基于Hadoop和hive实现聊天数据统计分析，构建聊天数据分析报表1.统计今日总消息量2.
liyantower·2023-11-04 21:33

网易Impala集群优化和高可用负载均衡配置和虚拟数仓

网易Impala集群优化和高可用负载均衡配置和虚拟数仓①本文阅读了多篇文章整理润色而成，主要旨在解决impala分析型数仓在生产环境遇到的各种技术瓶颈。如何优化等一些列问题着手。
岁月的眸·2023-11-04 14:28
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他