数仓技术知识

大数据架构（二）大数据发展史

1.背景随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，传统数仓经历了以下发展过程：传统数仓架构->离线大数据架构->Lambda架构->Kappa架构->新一代实时数仓
野生的狒狒·2023-12-18 02:50

flink sql 知其所以然（十二）：流 join 很难嘛？？？（上）

下面即是文章目录，也对应到本文的结论，小伙伴可以先看结论快速了解本文能给你带来什么帮助：背景及应用场景介绍：join作为离线数仓中最常见的场景，在实时数仓中也必然不可能缺少它，f
程序员的隐秘角落·2023-12-17 22:25

基于Hadoop的智慧社区大数仓库系统设计与开发

基于Hadoop的智慧社区大数仓库系统设计与开发DesignandDevelopmentofaSmartCommunityDataWarehouseSystembasedonHadoop目录目录2摘要3
wusp1994·2023-12-17 18:45

如何预防最新的.locked、.locked1勒索病毒感染您的计算机？

我们的专业团队（技术服务号shuju315）具备丰富的经验和技术知识，精通各类数据恢复技术，能够应对各种数据加
wx_shuju315·2023-12-17 14:26

阿里云RDS MySQL 数据如何快速同步到 ClickHouse

云数据库RDSMySQL和云数据库ClickHouse是阿里云推出的两个备受欢迎的数据库解决方案，它们为用户提供了可靠的数据存储方案、分析数仓方案，本文介绍如何快速将RDSMySQL的数据同步到云数据库
NineData·2023-12-17 13:04

信息技术计算机组成知识点,信息技术知识点汇总大全

信息技术知识点汇总第1章信息技术概述1.1信息与信息技术1.信息是什么？信息是指“事物运动的状态及状态变化的方式”，它既不是物质也不是能量。2.客观世界的三大构成要素：信息、物质、能量。
逸言为定·2023-12-17 12:04

大数据治理

数据治理数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，包括资产治理、数据质量监控、数据指标体系的建设等。
lz_matlab·2023-12-17 09:09

电商数仓项目----笔记三(用户行为数据同步)

在前面的笔记一和笔记二中，我们已经分别将用户行为数据和业务数据采集到kafka中了：在实时数仓中，由于Flink会从kafka中读取数据，也无需我们再同步数据了，因此同步数据是我们离线数仓的事。
zmx_messi·2023-12-17 08:43

电商数仓项目----笔记一(用户数据的采集)

数据仓库（DataWarehouse），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。通常数据仓库的输入数据有三种：业务数据、用户行为数据和爬虫数据等；业务数据：比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。通常存储在MySQL、Oracle等数据库中。用户行为数据：用户在使用产品过程中，通过埋点收集与客
zmx_messi·2023-12-17 08:13

Spring入门

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、环境要求二、构建模块三
哥的时代·2023-12-17 01:35

Spring概述

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、Spring是什么？
哥的时代·2023-12-17 00:30

2024年企业和个人都在备考的权威性 AI人工智能工程师培训类证书

由工业和信息化部电子工业标准化研究院颁发的关于以下两类证书：计算机自然语言及语音处理设计开发工程师（中级）计算机视觉处理设计开发工程师（中级）工信部认证的人工智能工程师作用如下：1、对个人而言对于想要入行的人员来说，除了技术知识没有问题之外
人工智能技术与咨询·2023-12-16 23:59

数仓项目建设------思路及架构

离线数仓架构方案经典传统数仓架构阶段一:1991年比尔-恩门（billinmon）出版第一版数据仓库的书,标志数据仓库概念的确立,称为恩门模型主张自上而下的建设企业级数据仓库,建设过程中需要满足三范式要求从分散异构的数据源
小希 fighting·2023-12-16 18:02

云原生向量计算引擎 PieCloudVector：为大模型提供独特记忆

除云原生虚拟数仓PieCloudDB，πDataCS支持的第二款计算引擎：云原生向量计算引擎Pie
OpenPie｜拓数派·2023-12-16 12:34

关于技术博客的一些思考

技术博客一方面发挥了笔记的作用，能够记录下来自己学习到的技术知识。更重要的是，与别人分享见
金句·2023-12-16 11:12

华为大数据开发者教程知识点提纲

SparkSql，spark，hive（，Flink）2.HadoopNamenode（metadata），client（备份block），datanode（blocks结构）core-site.xml3.Hive数仓软件
qq_1418269732·2023-12-16 06:08

6.大数据架构详解：从数据获取到深度学习 --- 交互式分析

6.1交互式分析的概念在数仓领域有个概念"即席查询"(AdhocQuery)，指的是用户在使用系统时，根据自己当时的需求定义查询。
enlyhua·2023-12-16 02:42

服务器感染了.locked、.locked1勒索病毒，如何确保数据文件完整恢复？

我们的专业团队（技术服务号shuju315）具备丰富的经验和技术知识，精通各类数据恢复技术，能够应对各种数据加密情
wx_shuju315·2023-12-15 22:46

数据仓库相关概念

目录实时数仓和离线数仓数仓分层ETL（Extract-Transform-Load）数仓指标一些缩写实时数仓和离线数仓离线数仓和实时数仓主要的区别在于数据处理和更新的速度。
可以睡到中午吗·2023-12-15 13:48

Mybatis之分页插件

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、分页插件使用步骤1、
哥的时代·2023-12-15 11:09

Mybatis之核心配置文件详解、默认类型别名、Mybatis获取参数值的两种方式

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、核心配置文件详解二、
哥的时代·2023-12-15 11:39

Mybatis之动态SQL

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、if二、where三
哥的时代·2023-12-15 11:39

MyBatis之逆向工程

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、创建逆向工程的步骤1
哥的时代·2023-12-15 11:39

网络层之IP数据报格式、数据报分片、IPv4、子网划分和子网掩码

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、IP数据报格式二、分片例题三
哥的时代·2023-12-15 11:08

Mybatis之缓存

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、MyBatis的一级缓存二
哥的时代·2023-12-15 11:02

自下而上-存储全栈（TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4）存储技术专家成长路线

具备存储技术知识和技能的人才更具有竞争力。存储技术专家成长路线技术点主要运用在存储库架构设计、企业级存储系统、分布式存储系统、云存储系统、分布式数据库、高性能存储引擎、文件系统等领域。
攻城狮百里·2023-12-15 07:09

【数仓理论】

一、数仓建模方法论1.1ER模型（EntityRelationship、实体关系模型、范式模型）ER模型是BillInmon提出的一种建模方法，实体关系模型将复杂的数据抽象为两个概念----实体和关系该模型在范式理论上符合
想当运维的程序猿·2023-12-15 07:52

物流实时数仓：采集通道搭建

系列文章目录物流实时数仓：环境搭建文章目录系列文章目录前言一、环境准备1.前置环境2.hbase安装1.上传并解压2.配置环境变量3.拷贝jar包4.编写配置文件5.分发配置文件3.Redis安装1.安装需要的编译环境
超哥--·2023-12-15 06:34

物流实时数仓：数仓搭建（DIM）

系列文章目录物流实时数仓：采集通道搭建物流实时数仓：数仓搭建物流实时数仓：数仓搭建（DIM）文章目录系列文章目录前言一、文件编写1.pom.xml2.目录创建3.DimApp.java4.KafkaUtil.java5
超哥--·2023-12-15 06:34

06 数仓平台MaxWell

Maxwell简介Maxwell是由Zendesk公司开源，用Java编写的MySQL变更数据抓取软件，能实时监控MySQL数据库的CRUD操作将变更数据以json格式发送给Kafka等平台。Maxwell输出数据格式Maxwell原理Maxwell工作原理是实时读取MySQL数据库的二进制日志（Binlog），从而获取变更数据，再将变更数据以JSON格式发送给Kafka等流处理平台。Maxwel
kk_io·2023-12-15 06:02

07用户行为日志数据采集

用户行为数据由Flume从Kafka直接同步到HDFS，由于离线数仓采用Hive的分区表按天统计，所以目标路径要包含一层日期。具体数据流向如下图所示。
kk_io·2023-12-15 06:22

物流实时数仓：数仓搭建（DWD）一

系列文章目录物流实时数仓：采集通道搭建物流实时数仓：数仓搭建物流实时数仓：数仓搭建（DIM）物流实时数仓：数仓搭建（DWD）一文章目录系列文章目录前言一、文件编写1.目录创建2.bean文件1.DwdOrderDetailOriginBean2
超哥--·2023-12-15 06:22

考验的是技术！如何绕过微软设计的安装Windows 11的硬件要求

注意：绕过Windows11要求所涉及的一些过程需要更深入的技术知识。请不要编辑计算机的注册表，除非你对此乐此不疲，因为它可能会损坏你的设备。
行走的电脑·2023-12-15 03:57

Flink 项目系列

Flink项目系列1-项目介绍-墨天轮Flink实时电商实战项目:基于尚硅谷开源项目的Flink电商实战项目（全流程）大数据Flink电商数仓实战项目流程全解（一）_尚硅谷flinksql大数据项目实战
清风明月一壶酒·2023-12-14 16:22

快手数仓面试题附答案

题目1讲一下你门公司的大数据项目架构？2你在工作中都负责哪一部分3spark提交一个程序的整体执行流程4spark常用算子列几个，6到8个吧5transformation跟action算子的区别6map和flatmap算子的区别7自定义udf，udtf，udaf讲一下这几个函数的区别，编写的时候要继承什么类，实现什么方法8hive创建一个临时表有哪些方法9讲一下三范式，三范式解决了什么问题，有什么
话数Science·2023-12-06 21:59

阿里P8架构师精讲开源+高性能+高并发+分布式+微服务+实战等

项目实战精讲架构视频资料获取方式工作一到五年的java开发工程师朋友可以加入我们Java架构交流群：760940986群内提供高可用，高并发，spring源码，mybatis源码，JVM，大数据，Netty等多个技术知识的架构视频资料还有大把大牛在群内交流以及解答面试指导
java成功之路·2023-12-06 13:58

Databend 开源周报第 122 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-12-06 06:35

【黑马甄选离线数仓day08_会员主题域开发】

1.会员主题域需求说明1.1各类会员数量统计说明：公司为了对不同会员进行不同的营销策略，对各类会员的数量都非常敏感，比如注册会员、消费会员、复购会员、活跃会员、沉睡会员。不仅需要看新增数量还要看累积数量。指标：新增注册会员数、累计注册会员数、新增消费会员数、累计消费会员数、新增复购会员数、累计复购会员数、活跃会员数、沉睡会员数、会员消费金额维度：时间粒度：时间维度（天、周、月）涉及库：sale、m
LKL1026·2023-12-05 21:31

【黑马甄选离线数仓day09_会员主题域开发_DWD和DWM层】

leftjoin的结果集unionall增量数据4.把最新的拉链数据优先保存到DWD对应的临时表中5.使用insert+select方式把临时表中数据灌入DWD拉链表中拉链表实现流程:DWD层开发DWD层:数仓明细层
LKL1026·2023-12-05 21:31

【黑马甄选离线数仓day06_核销主题域开发】

1.核销主题_DWD和DWM层1.0ODS层操作数据存储层:==OperateDataStore==核心理念:几乎和源数据保持一致,粒度相同注意事项:==同步方式(全量同步,全量覆盖,增量仅新增,增量新增和更新)+内部表+分区表(部分)+指定字符分隔符+orc+zlib==第二天的时候已经完成了从mysql以及sqlserver抽取数据到ods层的过程1.1DWD层数据仓库细节层:==DataWa
LKL1026·2023-12-05 21:00

【黑马甄选离线数仓day07_常见优化手段及核销主题域开发】

1.常见优化手段1.1分桶表基本介绍分桶表:分文件的,在创建表的时候,指定分桶字段,并设置分多少个桶,在添加数据的时候,hive会根据设置分桶字段,将数据划分到N个桶(文件)中,默认情况采用HASH分桶方案,分多少个桶,取决于建表的时候,设置分桶数量,分了多少个桶最终翻译的MR也就会运行多少个reduce程序(HIVE的分桶本质上就是MR的分区操作)如何构建一个分桶表呢?createtable表名
LKL1026·2023-12-05 21:26

如何做好一个软件开发项目经理？

要成为一名优秀的软件开发项目经理，需要具备一定的技术知识和管理能力。下面是学习和发展软件开发项目经理职业所需的关键能力和工作内容。首先，作为软件开发项目经理，你需要具备扎实的软件开发知识和技能。
逸尘谈PM·2023-12-05 15:45

黑马一站制造数仓实战1

1.项目目标一站制造企业中项目开发的落地：代码开发代码开发：SQL【DSL+SQL】SparkCoreSparkSQL数仓的一些实际应用：分层体系、建模实现2.内容目标项目业务介绍：背景、需求项目技术架构
ZhaoXiangmoStu·2023-12-05 15:20

大数据转型方案：首推数据湖！

数仓技术应对关系型结构化数据游刃有余，但对于多元异构数据，却爱莫能助。最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块或者文件。
zhisheng_blog·2023-12-05 02:12

大数据开发：Hive on Spark设计原则及架构

在Spark越来越受到主流市场青睐的大背景下，Hive作为Hadoop生态当中的数仓组件工具，在于Spark生态的配合当中，开始有了HiveonSpark的思路，那么具体是怎么实现的呢？
成都加米谷大数据·2023-12-05 01:44

大数据的技术栈-逐步完善

c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构b.Doris数据库3.混合处理框架SPARKa.Sparkb.集群架构4.数仓模型知识
刘文钊1·2023-12-04 20:12

【2】基于多设计模式下的同步&异步日志系统-设计模式

6.相关技术知识补充6.1不定参函数在初学C语⾔的时候，我们都⽤过printf函数进⾏打印。
小鳄鱼爱吃薯片·2023-12-04 15:52

03 数仓平台 Kafka

kafka概述定义Kafka是一个开源的分布式事件流平台（EventStreamingPlantform），主要用于大数据实时领域。本质上是一个分布式的基于发布/订阅模式的消息队列（MessageQueue）。消息队列在大数据场景中主要采用Kafka作为消息队列。传统消息队列主要应用场景包括：缓存/削峰、解耦和异步通信。消息队列的模式包含了2种，点对点订阅模式和发布/订阅模式。Kafka采用了发布
kk_io·2023-12-04 04:17

微机原理与接口技术知识点总结：第二章 CPU结构和指令系统 （上）

微机原理与接口技术知识点总结：第二章CPU结构和指令系统（上）文章目录微机原理与接口技术知识点总结：第二章CPU结构和指令系统（上）一、8086/8088CPU结构1.相同点和差异2.内部结构：EU和BIU
风过无痕284·2023-12-04 01:43

微机原理与接口技术知识点总结：第一章 微型计算机概述

第一章微型计算机概述文章目录第一章微型计算机概述一、基本术语二、微机发展历史1.世界上第一台计算机—ENIAC2.IA-32演化历史3.IA架构（x86架构）三、微机部件和结构1.微机硬件部件2.CPU组成及其性能参量3.微机部件和结构四、计算机总线结构和CPU工作原理1.计算机的三总线模型2.计算机存储器模型3.CPU执行指令/程序过程(冯诺依曼原理)提示：以下是本篇文章正文内容，下面案例可供参
风过无痕284·2023-12-04 01:12
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他