数仓发展史

尚硅谷大数据项目【电商数仓6.0】-Kafka安装-3

解压tar-zxvf/opt/software/kafka_2.12-3.3.1.tgz-C/opt/module/mvkafka_2.12-3.3.1/kafkacd/opt/module/kafka/configviserver.properties#LicensedtotheApacheSoftwareFoundation(ASF)underoneormore#contributorlice

Xiaoweidumpb·2025-03-25 15:32

大数据项目之电商数仓（用户行为采集平台）

大数据项目之电商数仓（用户行为采集平台）版本：V5.0第1章数据仓库概念数据仓库（DataWarehouse），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。

qq_42042882·2025-03-25 15:01

尚硅谷大数据项目【电商数仓6.0】-Datax-6

安装tar-zxvfdatax.tar.gz-C/opt/module/测试python/opt/module/datax/bin/datax.py/opt/module/datax/job/job.jsonMySQLToHDFS根据官方文档写配置json{"job":{"content":[{"reader":{"name":"mysqlreader","parameter":{"column"

Xiaoweidumpb·2025-03-25 14:26

大数据学习-hive（四：数仓搭建，数据监控，数据支持）

一：数仓搭建1：完备性。要保证所需要的数据全部到达数仓。2：准备性。etl，和数据的计算校验，确保输出的数据准确。3：一致性。确保输出端口一致，防止输出数据不准。4：时效性。每天的定时调度。

宇智波云·2025-03-25 14:23

【数据仓库】数仓维度建模中的事实表核心概念与实践案例

数仓维度建模中的事实表核心概念与实践案例在数据仓库的维度建模中，事实表（FactTable）是分析系统的核心，用于存储业务过程的量化度量（如销售额、订单数量），并通过外键关联维度表（如时间、产品、客户）

小技工丨·2025-03-25 03:34

大数据学习（82）-数仓详解

如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦一、什么是数据仓库数据仓库（下文以“数仓”称），顾名思义，存放数据的仓库，它集合了各个业务系统的数据，以金融业为例，数仓包含了贷款业务、

viperrrrrrr·2025-03-24 20:41

【人工智能时代】-人工智能发展史：1900~2023

第一阶段：人工智能发展历史：1900-19591909年西班牙工程师LeonardoTorresyQuevedo发明了“Occultus”，这是一个可以自动执行国际象棋对弈的机器，预示了未来的计算智能。

xiaoli8748_软件开发·2025-03-24 09:36

读书笔记五 ---大数据之路--数仓分层

数据分层在流式数据模型中,数据模型整体上分为五层。ODS层跟离线系统的定义一样,ODS层属于操作数据层,是直接从业务系统采集过来的最原始数据（进行了数据清洗）,包含了所有业务的变更过程,数据粒度也是最细的。在这一层,实时和离线在源头上是统一的,这样的好处是用同一份数据加工出来的指标,口径基本是统一的,可以更方便进行实时和离线问数据比对。例如:原始的订单变更记录数据、服务器引擎的访同日志。（原始数据

qq_38215991·2025-03-23 08:11

GPU计算的历史与CUDA编程入门

本文将探讨GPU计算的发展史，重点分析《ComputerGraphics:PrinciplesandPractice》等关键文献，以及CUDAC编程模型的引入及其对现代软件开发的影响。

己见明·2025-03-22 12:49

LakeHouse湖仓一体成为下一站灯塔，数仓、数据湖架构即将退出群聊

摘要：当前的大数据技术应用趋势表明，客户对单一的数据湖和数仓架构并不满意。

科杰科技·2025-03-21 17:26

【运维的七种武器】

一、运维平台发展史：1.第一阶段，以专业化网管工具为代表，包括网络设备、主机、数据库、中间件、存储等进行专业监控管理的各种专业化工具。

搞技术的季·2025-03-21 14:32

尚硅谷电商数仓6.0，hive on spark,spark启动不了

在datagrip执行分区插入语句时报错[42000][40000]Errorwhilecompilingstatement:FAILED:SemanticExceptionFailedtogetasparksession:org.apache.hadoop.hive.ql.metadata.HiveException:FailedtocreateSparkclientforSparksessio

新时代赚钱战士·2025-03-20 20:57

数仓建模—Data Warebase AI 时代数据平台应当的样子

背景近二十年大数据发展史2002年我

不二人生·2025-03-20 18:43

快速上手系列丨如何管理 PieCloudDB Database 虚拟数仓

PieCloudDB社区版提供免费下载，可用于体验产品新特性、个人学习、PoC验证等场景，方便社区用户快速体验领先的数仓虚拟化技术。PieCloudD

·2025-03-20 14:53

SelectDB 实时分析性能突出，宝舵成本锐减与性能显著提升的双赢之旅

BOCDOP宝舵早期基于TiDB构建实时数仓，随着数据量增长，在数据处理效率、OLAP能力扩展、功能支持、成本与资源方面存在一定优化空间。

SelectDB技术团队·2025-03-20 00:11

计算机网络

计算机网络计算机网络发展史有4个阶段在第3阶段：OSI开放式系统互联架构，确立了TCP/IP作为通用协议。

丸子猪的dady·2025-03-19 18:59

Linux环境搭建

目录1.Linux背景1.1发展史1.2开源1.3官网1.4企业应用现状1.5发行版本2.搭建Linux环境2.1Linux环境的搭建方式2.2购买云服务器2.2.1登录网站。

黎相思·2025-03-18 17:02

Java学习总结归纳

202402150625卢芊涵一、第一章：初始java与面向对象程序设计1.1java概述1.1.1计算机编程语言发展史：编程语言从早期的机器语言，逐步发展到汇编语言，再到高级语言。

eyes______·2025-03-18 13:01

Java学习笔记1.1_初识 Java

初识Java前言一、Java概述1.什么是程序2.Java语言的产生和发展史3.Java可以做什么4.Java语言的特点二、Java语言环境搭建1.JDK、JRE、JVM关系2.安装JDK3.配置环境变量

火车爱上轨道·2025-03-17 00:08

Spring深度学习 — 关于 Spring

前言作为一名Java程序猿，相信对Spring都不陌生，那么我们经常使用的Spring的发展史大家都了解过吗？它是如何来的？又是如何一步一步成长到了现在这种不可替代的重要地位？

搬运Gong·2025-03-16 19:04

为什么要进行数据仓库分层？

有以下好处：减少重复开发，提升研发效率从数仓模型角度能够提升数据一致性。减少了冗余计算，高频查询或者高频开发无需使用原始数据，直接使用公共的数据模型查询或者开发即可，减少了对计算资源

BenBen尔·2025-03-15 11:04

网络安全：数字时代的永恒命题

一、网络安全威胁的演变与升级网络安全威胁的演变史就是一部攻防对抗的技术发展史。早期的网络攻击以病毒、蠕虫为主，攻击

·2025-03-14 22:07

数仓建模—手把手教你用 DeepSeek 打造高效数据治理体系

数仓建模—手把手教你用DeepSeek打造高效数据治理体系在这个数字化转型的时代，数据治理已经成为企业提升竞争力的核心能力之一。然而，对于很多企业来说，数据治理仍然是一项复杂而艰巨的任务。

不二人生·2025-03-14 06:31

【AIGC】计算机视觉-YOLO系列家族

YOLO系列家族（1）YOLO发展史（2）YOLOX（3）YOLOv6（4）YOLOv7（5）YOLOv8（6）YOLOv9（7）YOLOv10（8）YOLOv11（9）YOLOv12（1）YOLO发展史

LeeZhao@·2025-03-13 13:34

初识开源云原生数仓Databend

Databend是一款开源的数据仓库产品，主要定位于OLAP场景，采用云原生架构理念（可对比snowflake），有非常好的扩展性、同时具备低成本、高性能的优势，兼容MySQL协议。Stars数8,245Forks数765主要特点针对对象存储平台进行优化的云原生架构。符合SQL:2011标准，支持复杂查询和数据版本回溯（时间旅行）功能。与流行的商业智能（BI）、提取、转换和加载（ETL）以及数据科

开源项目精选·2025-03-12 14:22

Vue-前端发展史

文章目录Vue-前端发展史二、前端发展史1、UI框架2、JavaScript构建工具3、三端同一4、后端技术5、主流前端框架混合开发微信小程序Vue-前端发展史二、前端发展史1、UI框架Ant-Design

lengzher_5601·2025-03-11 20:36

Web前端发展史

1、静态页面阶段那是1990年的12月25日，恰是西方的圣诞节，TimBerners-Lee在他的NeXT电脑上部署了第一套“主机-网站-浏览器”构成的Web系统，这标志BS架构的网站应用软件的开端，也是前端工程的开端。1993年4月Mosaic浏览器作为第一款正式的浏览器发布。1994年11月，鼎鼎大名的Navigator浏览器发布发布了，到年底W3C在Berners-Lee的主持下成立，标志着

王珍岩·2025-03-11 20:31

前端框架的发展史

1、htmlcss+div从1990年代初HTML被发明开始样式表就以各种形式出现了，不同的浏览器结合了它们各自的样式语言，读者可以使用这些样式语言来调节网页的显示方式。一开始样式表是给读者用的，最初的HTML版本只含有很少的显示属性，读者来决定网页应该怎样被显示。但随着HTML的成长，为了满足设计师的要求，HTML获得了很多显示功能。随着这些功能的增加外来定义样式的语言越来越没有意义了。1994

Qpeterqiufengyi·2025-03-11 20:59

前端 UI 框架发展史

上一小节我们了解了前端UI框架的作用和意义，接下来我们再来了解前端UI框架的发展历史。虽然是讲历史，但我不想讲得太复杂，也不打算搞什么编年史记录啥的，毕竟我们不是来学历史的。我会简单描述一下前端UI框架的发展历程，同时在这个过程中，把我自己的一些感受和想法分享给你。你可以以轻松娱乐的心态来看这篇文章，同时也大概了解一下我们前端开发是怎么发展到现在这样子的。这样可以让你更好地去理解将要学习的前端UI

之道前端·2025-03-11 20:57

数据湖架构与实时数仓实践：Hudi、Iceberg、Kafka + Flink + Spark

1.引言：数据湖与数据仓库的融合趋势在大数据时代，传统的数据仓库（DataWarehouse,DW）因其强一致性和高效查询能力，一直是企业数据分析的核心。然而，随着数据量和数据类型的爆炸式增长，传统数据仓库的存储成本和数据管理难度逐渐增加。为了解决这些问题，数据湖（DataLake）概念应运而生。数据湖能够存储原始数据，支持半结构化和非结构化数据，提供更灵活的计算框架，但其缺乏事务管理和数据一致性

晴天彩虹雨·2025-03-10 03:22

性能测试详解（一）概述

性能测试的发展史性能测试的概念性能测试的分类性能测试的目的性能瓶颈的测试的测试方法性能测试的准入准出条件性能测试的流程为什么需要性

小高写BUG·2025-03-09 23:22

机器学习大纲总结

人工智能人工智能包含机器学习，机器学习包含深度学习2.机器学习机器学习是实现人工智能的一种途径机器学习=传统机器学习+深度学习3.深度学习深度学习是由机器学习的一种方法发展而来4.发展三要素数据、算法、算力5.发展史

excellent121·2025-03-08 10:36

电商商业平台技术架构系列教程之：电商平台概述与发展趋势

作者：禅与计算机程序设计艺术文章目录1.简介2.电商平台概述2.1电商平台概念2.2电商平台定义2.3电商平台发展史2.3.1起源2.3.2发展阶段2.3.2.1B2C模式2.3.2.2C2B模式2.3.2.3

AI天才研究院·2025-03-08 09:23

项目管理发展史 --转

项目管理通常被认为是第二次世界大战的产物（如美国研制原子弹的曼哈顿计划），事实上，项目管理历史源远流长，其发展大致经历了以下阶段：（1）古代其代表作如我国的长城、埃及的金字塔、古罗马的供水渠这样不朽的伟大工程。我国汴梁古城的复建也可称为成功项目管理的典型例子。（2）近代项目管理的萌芽在四五十年代主要应用于国防和军工项目。美国把研制第一颗原子弹的任务作为一个项目来管理，命名“曼哈顿计划”。美国退伍将

hongzhen1114·2025-03-08 08:46

鸿蒙全栈开发 D1

鸿蒙全栈开发第一天第一部分：鸿蒙操作系统基础1.1鸿蒙发展史（深度解析）2012-01-012013-01-012014-01-012015-01-012016-01-012017-01-012018-

GH小杨·2025-03-06 19:47

编程语言发展史之：面向对象编程语言

作者：禅与计算机程序设计艺术1.简介面向对象编程(Object-OrientedProgramming，OOP)是一种计算机编程方法，它以数据抽象、继承和多态作为编程哲学基础，并通过类、对象和消息传递的方式实现对真实世界的模拟,[1][2][3]。在过去几十年里，面向对象编程已经成为一种主流的程序设计方法，并且越来越受到开发者的欢迎。特别是在大型软件系统中，采用面向对象的方法可以有效地提高开发效率

AI天才研究院·2025-03-06 11:40

阿里云MaxCompute面试题汇总及参考答案

目录简述MaxCompute的核心功能及适用场景，与传统数据仓库的区别解释MaxCompute分层架构设计原则，与传统数仓分层有何异同MaxCompute的存储架构如何实现高可用与扩展性解析伏羲（Fuxi

大模型大数据攻城狮·2025-03-06 10:05

国产化替代 | 星环科技TDH替代IBM数仓，助力城商行构建湖仓一体平台

城商行构建湖仓一体平台|TDH替代IBM数仓IBM的数仓NetezzaEOL是2023年，数仓Netezza生命周期结束了。数仓产品停止提供支持和更新，不再为该产品提供修复漏洞或功能改进的服务。

·2025-03-05 11:08

小白进阶高手：使用Flink开发实时数仓的经验与技巧（理论结合超多实例）

Flink作为一种流处理框架，在实时数仓的开发中发挥着关键作用。它能够处理大量实时数据流，支持复杂的事件处理、实时计算和监控，具有高吞吐、低延迟的优势。

大模型大数据攻城狮·2025-03-05 11:43

网络原理初识[Java EE]

目录网络发展史独立模式网络互联局域网LAN1.基于网络直连2.基于集线器(Hub)组建3.基于交换机(Switch)组建4.基于交换机和路由器(Router)组建广域网WAN网络通信基础IP地址1.概念

猿周LV·2025-03-05 02:03

Hadoop基础知识及部署模式

广义上的Hadoop是指Hadoop的整个技术生态圈；狭义上的Hadoop指的是其核心三大组件，包括HDFS、YARN及MapReduce.二、Hadoop的发展史Hadoop起源于Lucen

2301_82242502·2025-03-03 06:28

大数据技术学习框架（更新中......）

小技工丨·2025-03-03 04:05

Node.js 发展史

自从Node.js诞生以来，它经历了许多版本的演进和改进。Node.js于2009年首次发布，由RyanDahl创建，从那时起，它经历了许多重要版本和里程碑。在这篇文章中，我将为你介绍Node.js从发布至今的一些重要版本，包括它们的主要特性和变化。Node.js0.1.0(2009年5月27日):Node.js的首个公开版本。支持基本的网络通信和文件系统操作。Node.js0.4.0(2010年

ivanfor666·2025-03-02 01:32

重磅活动！3.14，与数智领袖共探 NoETL 指标平台最佳实践

AloudataCAN以强大的指标定义和查询加速能力，直连数仓公共层明细数据，自动化代持宽表与汇总表开发，实现了NoSQL指标定义、NoETL指标开发、统一指标管理，一举解决了指标“开发周期长、口径不统一

·2025-02-28 20:34

【数据仓库】数仓分层设计

一、为何分层？随着信息技术的快速发展，传统数据库已经无法存储和处理海量的数据，数据仓库应运而生。官方说明：数据仓库是用于支持企业决策制定和分析，它通过将不同来源的数据整合在一起，为用户提供一致、全面且易于访问的数据视图。可以简单理解为数据仓库就是专门用来存储和分析海量的历史数据，让数据真正地产生价值，为企业赋能。之前看到过一句话说的很不错，数据仓库的第一性原理是什么？就是以通过整合、优化和管理数据

·2025-02-28 02:35

浅谈HTML5

第一部分，了解HTML和XHTMLHTML——HyperTextMarkupLanguage(超文本标记语言)，它的发展史比较复杂，从1991年年底推出HTML,当时HTML并没有

·2025-02-27 21:55

C语言第一章认识C语言

目录C语言的发展史为什么要学习C语言常用的IDE工具Dev-C++MicrosoftVisualStudioCLion第一个编程程序C语言的程序运行机制C语言的程序结构C语言的发展史1960年，ALGOL60

点纭·2025-02-27 13:24

最全数仓实践：总线矩阵设计_数仓总线矩阵(2)

所以，总线矩阵和一致性维度、一致性事实共同组成了Kimball的多维体系结构基础。在这种多维体系结构（MD）的数据仓库架构中，主导的思想便是分步建立数据仓库，并由数据集市组合成企业的数据仓库。但是，在建立第一个数据集市前，架构师首先要做的就是设计出在整个企业内具有统一解释的标准化的维度和事实，即一致性维度和一致性事实，而开发团队必须严格的按照这个体系结构来进行数据集市的迭代开发。如果我们在建立数据

2401_84170391·2025-02-26 15:09

数据仓库面试题集锦（附答案和数仓知识体系），面试必过

数据仓库模型的选择是灵活的，不局限与某种模型方法；数据仓库数据是灵活的，以实际需求场景为导向；数仓设计要兼顾灵活性、可扩展性、要考虑技术可靠性和实现成本1）调研：业务调研、需求调研、数据调研2）划分主题域

m0_60635001·2025-02-26 13:20

preview_220624,Day08_DM层建设实战,

一些公司早期的数据集市后期可能会演变成为数仓系统。本项目中在数据集市层面主要进行粗粒度汇总，也可以将这些功能下放至DWS层完成。

啊六六六·2025-02-26 04:51

推荐频道