数仓技术知识第9页

Azkaban+Spark资源调度

本文以利用Azkaban+Spark构建数仓的DWS层和ADS层为例！！！

孤城暮雨@·2024-01-03 04:46

Spark内容分享(二十)：网易基于 Kyuubi + Spark 内核优化以及实践

AQE–History2.AQE–Shuffle3.AQE-SmallReducePartition4.AQE–SkewedReducePartition5.AQE–OptimizePlanKyuubi+Spark数仓类任务优化实践

之乎者也··2024-01-02 10:21

最容易出错的 Hive Sql 详解

前言在进行数仓搭建和数据分析时最常用的就是sql，其语法简洁明了，易于理解，目前大数据领域的几大主流框架全部都支持sql语法，包括hive，spark，flink等，所以sql在大数据领域有着不可替代的作用

奔跑者-辉·2024-01-02 07:30

不给病毒留空子：保护您的数据免受.mallox勒索病毒威胁

在面对被勒索病毒攻击导致的数据文件加密问题时，技术支持显得尤为重要，您可添加我们技术服务号（shuju315），我们的专业团队拥有丰富的数据恢复经验和技术知识，能够迅速定位问题并提供最佳

wx_shuju315·2024-01-02 03:06

Flink的优势

主要应用场景包括实时数仓、实时大屏、实时推荐、实时报表、实时风控和实时监控，当然还有其他一些应用场景。总之，实时计算的业务需求，一般都会用Flink进行开发。

有味青年·2024-01-01 13:01

课堂笔记day10

主动发问，把老师问卡壳了4、对老师留的课后拓展的作业要能够完成5、对学习的内容要深度总结（思维导图或画图总结）等6、课后遇到不会的不要轻易总别人，先自己想办法，在问身边人7、提升阅读外语的能力（通过计算机技术知识反向学习外语

喂00·2024-01-01 06:34

勤于奋聊聊国外LEAD，聊聊乱七八糟

最近有很多粉丝给我说，国外LEAD联盟很多人都在写公众号，分享这方面的技术知识，我觉得是个好事，证明这块不止你一个人在奋斗。

勤于奋·2023-12-31 19:53

Impala导出csv文件

场景：当数仓环境为大数据集群（impala），临时从数仓取数导出为csv文件使用impala-shell命令把文件导出为本地csv文件--正常导出impala-shell-q"SELECT*FROMyour_table

n_avo7_i·2023-12-31 18:34

详解Lambda和Kappa架构的区别

二、架构详解1、随着大数据的发展，人们逐渐对系统的实时性提出了要求，为了计算一些实时指标，就在原来离线数仓的基础上增加了一个实时计

小枫@码·2023-12-31 18:55

rds是什么云模式_IaaS、PaaS、SaaS、DaaS都是什么？

云计算的资源是动态扩展且虚拟化的，通过互联网提供，终端用户不需要了解云中基础设施的细节，不必具有专业的云技术知识，也无须直接进行控制，只要关注自身真正需要什么样的资源以及如何通过网络来获得相应的服务

远航灯塔·2023-12-31 14:20

设计模式之初始设计模式和UML图

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、设计模式概述1、软件设计模式的产生背景

哥的时代·2023-12-31 09:19

SpringMVC之文件上传和下载

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录一、文件下载二、文件上传总结一

哥的时代·2023-12-31 09:46

实时数仓应用价值（下）

博客浅析研发支出费用化和资本化的区别-CSDN博客商业银行数据资产估值白皮书，推荐系统源码下载-CSDN博客用友BIP数据资产入表解决方案白皮书，推荐系统源码下载-CSDN博客六、具体五种方案的解析业界常见的实时数仓方案有这几种

Michael_Shentu·2023-12-31 00:46

浅谈技术架构的演进过程

前言最近在学习Redis、Doctor相关技术知识，它们与分布式系统有着很大的关系。而对于分布式系统，它本身就是随着业务的不断推进，技术架构不断演进而得到发展和实现的。

柒海啦·2023-12-30 23:10

SpringMVC之视图和RESTful

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、SpringMVC的视图

哥的时代·2023-12-30 23:37

SpringMVC之@RequestMapping详解

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、@RequestMapping

哥的时代·2023-12-30 23:07

SpringMVC之HttpMessageConverter

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、@RequestBody

哥的时代·2023-12-30 23:07

SpringMVC之RESTful案例

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录一、准备工作二、功能清单三、

哥的时代·2023-12-30 23:35

产品汪offer养成17 | 爱奇艺2017笔试题

——乔布斯image产品必须知道的技术知识名词1、前端：狭义的前端，指的是将交互稿和视觉稿（图片）转换成页面Demo或者视图层的过程。

淇奥qiaoqiao·2023-12-30 20:26

Flink实时电商数仓（九）

用户注册汇总表需求分析统计各窗口的注册用户数，写入Doris思路分析读取kafka用户注册主题数据转换数据结构string->JSONObject->javaBean使用user_info表中的数据代表用户注册设置水位线开窗聚合写入Doris具体实现创建用户注册统计类继承BaseApp,设置端口，并行度，kafka消费者组，kafka主题（Topic_user_register）启动zookeep

十七✧ᐦ̤·2023-12-30 11:16

Flink实时电商数仓（八）

用户域登录各窗口汇总表主要任务：从kafka页面日志主题读取数据，统计七日回流用户：之前活跃的用户，有一段时间不活跃了，之后又开始活跃，称为回流用户当日独立用户数：同一个用户当天重复登录，只算作一个独立用户。思路分析读取kafka页面主题数据转换数据结构：String->JSONObject过滤数据，uid不为null登录的两种情况用户打开应用后自动登录用户打印应用后没有登录，浏览后跳转到登录页面

十七✧ᐦ̤·2023-12-30 09:55

AI大模型时代下运维开发探索第二篇：基于大模型(LLM)的数据仓库

在SREWorks社区聚集了很多进行运维数仓建设的同学，大家都会遇到类似的挑战和问题：数仓中存储大量数据消耗成本，但很多存储的数据却并没有消费。

阿里云大数据AI技术·2023-12-30 07:39

微软.NET开发认证基础技术知识大局观——高级篇

微软.NET开发认证基础技术知识大局观——高级篇发布日期：2009-07-12作者：郑佐摘要：本文从实际学习知识的角度出发，讲述Microsoft.NET开发认证涵盖的基础技术知识，这些知识是通过Asp.net

iteye_3619·2023-12-30 06:45

数据中台-架构、构建与体系建设

构建与体系建设数据中台架构数据中台构建方法论技术体系数据体系服务体系运营体系数据中台功能架构数据中台技术架构企业构建数据中台评估统计分析阶段决策支持阶段数据驱动阶段运营优化阶段数据汇集-打破企业数据孤岛数据开发-提取数据价值数据体系建设贴源数据层ODS(OperationalDataStore)统一数仓层

Ybb_studyRecord·2023-12-30 03:53

Flink实时电商数仓之DWS层

需求分析关键词统计关键词出现的频率IK分词进行分词需要引入IK分词器，使用它时需要引入相关的依赖。它能够将搜索的关键字按照日常的使用习惯进行拆分。比如将苹果iphone手机，拆分为苹果，iphone,手机。org.apache.dorisflink-doris-connector-1.17com.janeluoikanalyzer测试代码如下：publicclassIkUtil{publicsta

十七✧ᐦ̤·2023-12-29 17:19

长文解读 "数据仓库" 面试必备知识

数仓分层数仓简介1.数据仓库和数据库的区别数据仓库：数据量特别的大，TB~PB级别会保留历史数据一般使用OLAP分析（On-LineAnalyticalProcessing），联机分析处理（聚合操作），

you的日常·2023-12-29 15:28

数据仓库-数仓优化小厂实践

大数据点滴·2023-12-29 09:25

白盒测试技术知识

1、白盒测试分为：静态测试和动态测试。2、静态测试包含类型：代码检查法：主要检查代码和设计的一致性，代码对标准的遵循、可读性，代码逻辑表达的正确性，代码结构的合理性等方面。3、代码检查分为：桌面检查（程序员自己检查）、代码审查（审查小组）、走查（审查小组）4、违背程序编写标准的问题：程序中不安全、不明确和模糊的部分找出程序中不可移植部分5、违背程序编程风格的问题：变量检查、命名和类型审查、程序逻辑

酷飒de小姐姐·2023-12-29 05:25

酿酒技术知识：中国有名的白酒都是用什么水酿造的

我们老祖先已经选择并应用优质水酿酒的起源很早。麴如《礼记·月令》：“乃命大酋，秫稻必齐，麴蘖必时，湛炽必洁，水泉必香，陶器必良，火齐必得”。这是老祖先们通过实践得出的“酿酒六必”的宝贵经验。“水泉必香”就是对酿酒用水提出的要求标准。今天就跟大家说说中国白酒是用什么水酿造的。众所周知，水是酿酒的重要原料之一，井水、泉水，河水均可作为酿造用水。我国大多数名优酒厂或是靠近优质水源，或是拥有千百年来一直沿

凡人_ed4e·2023-12-28 20:44

.halo勒索病毒解密方法|勒索病毒解决|勒索病毒恢复|数据库修复

在面对被勒索病毒攻击导致的数据文件加密问题时，技术支持显得尤为重要，您可添加我们技术服务号（shuju315），我们的专业团队拥有丰富的数据恢复经验和技术知识，能够迅速定位问题并提供最佳解决方案。.

wx_shuju315·2023-12-28 20:05

恢复.EKING勒索病毒加密数据：数据安全的必备知识

我们的专业团队（技术服务号shuju315）具备丰富的经验和技术知识，精通各类数据恢复技术，能够应对各种数据加密情况。第一章：了解.EKING勒索病毒.

wx_shuju315·2023-12-28 20:35

您的计算机已被.360勒索病毒感染？恢复您的数据的方法在这里！

在面对被勒索病毒攻击导致的数据文件加密问题时，技术支持显得尤为重要，您可添加我们技术服务号（shuju315），我们的专业团队拥有丰富的数据恢复经验和技术知识，能够迅速定位问题并提供最佳解决方案。.

wx_shuju315·2023-12-28 20:29

分享7个Python实战项目代码，让你分分钟晋级大老！快收藏_python编程作品

听两个聊天机器人互相聊天：3、分析唐诗的作者是李白还是杜甫：4、彩票随机生成35选7：5、自动写检讨书：6、屏幕录相机，抓屏软件：7、制作Gif动图：一、Python入门二、Python爬虫三、数据分析四、数据库与ETL数仓五

老-程序员·2023-12-28 19:38

银行数仓建模方法论

随着金融行业的不断发展，银行业务越来越复杂，数据量也越来越大。为了更好地管理和利用这些数据，银行数据仓库体系应运而生。在前面的文章中，我们介绍了银行数据仓库体系的基础知识，本篇文章将重点介绍银行数据仓库体系实践（7）—数据模型设计及流程。一、数据模型设计数据模型设计是银行数据仓库体系的核心，它是对银行业务进行抽象和概括的过程。在设计数据模型时，需要考虑以下几个方面：业务需求：数据模型的设计必须符合

添柴少年yyds·2023-12-28 18:56

ODS DW APP DIM 数仓

ODS：通过ETL工具从源端系统抽取数据，存入ODS层；DW：从ODS层数据进行抽取并按主题进行分类存储；DWD（数据明细层）：会对ODS的数据做一定的清洗和汇总，然后生成DWM中间表；DWM（数据中间层）：对DWD中的数据按照一定维度进行汇总后，放到DWS中的一张表；DWS（数据服务层）：从DWM中间表中按主题进行高度汇总业务宽表，满足各项业务需要；APP：依据DWS中的宽表数据，进行应用（可视

p1i2n3g4·2023-12-28 17:41

八怪：再谈 MySQL 8 这两个精准的时间戳

作者：高鹏（八怪），《MySQL主从原理》作者，深入透彻理解MySQL主从，GTID相关技术知识。爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。本文共约1

爱可生开源社区·2023-12-28 11:17

数据仓库基本信息

数据仓库基本理论数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。

许一世流年绝不嵩手 cium·2023-12-28 11:46

ETL项目实战--学习笔记

Extract，数据抽取=>抽取的是其他数据源中的数据T:Transform，数据转换=>将数据转换为统一的格式,消除异常值,缺失值,对于错误的逻辑进行修改L:Load，数据加载=>将不同数据源的数据处理后加载到数仓或者输出到指定位置

祈愿lucky·2023-12-28 11:46

SpringMVC之初识SpringMVC和项目创建

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、SpringMVC简介

哥的时代·2023-12-28 04:19

Spring之数据校验：Validation

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、SpringValidation

哥的时代·2023-12-28 04:49

SpringMVC之获取请求参数和域对象共享数据

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、SpringMVC获取请求参数

哥的时代·2023-12-28 04:18

知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。

yoku酱·2023-12-27 19:34

区块链丛林世界之旅鼠殇鉴

文/峰岚泛舟写在前面在通过区块链内容平台进入区块链世界1年之际，有感于这1年来个人对区块链、数字货币的认知变化，有感高速移动网络推动下新潮社群生态的多维渗透的能量，主动和被动接收到的有关投资理财区块链技术知识资讯堪比以往总和

峰岚泛舟·2023-12-27 18:28

Flink实时电商数仓之Doris框架（七）

主要实现的功能有：实时看板面向企业内部分析师和管理者的报表面向用户或者客户的高并发报表分析即席查询统一数仓构建：替换了原来由Spark,Hive，Kudu,Hbase等旧框架数据湖联邦查询：通过外表的方式联邦分析位于

十七✧ᐦ̤·2023-12-27 16:47

DataFunSummit：2023年数据湖架构峰会-核心PPT资料下载

面对如此大规模的数据，无论是分析型场景、流批一体、增量数仓都得益于湖仓一体等数据湖技术的发展而变得越来越容易解决。从核心架构、性能优化、湖仓一体、最佳实践等方面带来数据湖的最新技术和内容实践经验总结。

百家峰会·2023-12-27 16:03

Spring之提前编译：AOT

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、AOT概述1、JIT

哥的时代·2023-12-27 15:46

从报表需求到报表开发的流程

报表开发背后涉及到需求调研和数仓开发的支持。二、目标梳理从报表需求提出到报表需求实现整个生

qq_36120059·2023-12-27 12:55

基于Kettle和帆软Finereport的血缘解析

开发人员排查数据质量问题步骤：首先和业务人员对接了解是哪里数据不准确，要定位是哪张报表，然后查看报表后面数据来源，然后一路排查数仓。往往定位到数据问题耗时比较高，开发断层导致找到相关任务比较难。