数仓技术知识

大模型好书推荐 -挖到宝了，500页RAG神书几乎把RAG讲得透透的

该书不仅为读者提供了全面深入的RAG技术知识，还注重实践性和可操作性，帮助读者快速掌握构建企业级LLM应用的能力。‍
脱泥不tony·2025-03-10 14:07

数据湖架构与实时数仓实践：Hudi、Iceberg、Kafka + Flink + Spark

1.引言：数据湖与数据仓库的融合趋势在大数据时代，传统的数据仓库（DataWarehouse,DW）因其强一致性和高效查询能力，一直是企业数据分析的核心。然而，随着数据量和数据类型的爆炸式增长，传统数据仓库的存储成本和数据管理难度逐渐增加。为了解决这些问题，数据湖（DataLake）概念应运而生。数据湖能够存储原始数据，支持半结构化和非结构化数据，提供更灵活的计算框架，但其缺乏事务管理和数据一致性
晴天彩虹雨·2025-03-10 03:22

使用Python爬取小红书笔记与评论（仅供学习交流）_python爬取小红书关键词所有笔记评论(1)

【作者推荐】：对爬虫领域以及JS逆向分析感兴趣的朋友可以关注《爬虫JS逆向实战》《深耕爬虫领域》未来作者会持续更新所用到、学到、看到的技术知识！包括但不限
2401_83817171·2025-03-09 09:17

阿里云MaxCompute面试题汇总及参考答案

目录简述MaxCompute的核心功能及适用场景，与传统数据仓库的区别解释MaxCompute分层架构设计原则，与传统数仓分层有何异同MaxCompute的存储架构如何实现高可用与扩展性解析伏羲（Fuxi
大模型大数据攻城狮·2025-03-06 10:05

为什么UI导入png图会出现白边

1）为什么UI导入png图会出现白边2）升级Unity后产生的Objects泄露现象3）Unity升级后，加载Framework白屏4）如何优化轮廓线比较细的锯齿现象这是第419篇UWA技术知识分享的推送
·2025-03-05 11:09

国产化替代 | 星环科技TDH替代IBM数仓，助力城商行构建湖仓一体平台

城商行构建湖仓一体平台|TDH替代IBM数仓IBM的数仓NetezzaEOL是2023年，数仓Netezza生命周期结束了。数仓产品停止提供支持和更新，不再为该产品提供修复漏洞或功能改进的服务。
·2025-03-05 11:08

小白进阶高手：使用Flink开发实时数仓的经验与技巧（理论结合超多实例）

Flink作为一种流处理框架，在实时数仓的开发中发挥着关键作用。它能够处理大量实时数据流，支持复杂的事件处理、实时计算和监控，具有高吞吐、低延迟的优势。
大模型大数据攻城狮·2025-03-05 11:43

【爬虫逆向实战篇】手把手教你如何扣取JS代码还原加密算法

【作者推荐】：对爬虫领域以及JS逆向分析感兴趣的朋友可以关注《爬虫JS逆向实战》《深耕爬虫领域》未来作者会持续更新所用到、学到、看到的技术知识！包括但不限于：各类验证
吴秋霖·2025-03-03 04:43

大数据技术学习框架（更新中......）

Hadoop相关HDFS分布式文件系统MR(MapReduce)离线数据处理MR-图解YARN集群资源管理ZooKeeperZooKeeper分布式协调框架Hive相关Hive-01之数仓、架构、数据类型
小技工丨·2025-03-03 04:05

解锁网络防御新思维：D3FEND 五大策略如何对抗 ATT&CK

作为广为人知的ATT&CK框架的补充，ATT&CK聚焦于攻击者的战术和技术知识库，而长期以来，网络安全领域一直缺乏一个专门针对防御对策的系
vortex5·2025-03-02 16:02

Unity手机游戏开发：从搭建到发布上线全流程实战

前言：技术书籍是学习技术知识的重要资源之一。读技术书可以帮助我们学习新技能和知识，技术书籍提供了可靠的、全面的信息，帮助我们快速学习新技能和知识。
是Dream呀·2025-03-02 03:47

重磅活动！3.14，与数智领袖共探 NoETL 指标平台最佳实践

AloudataCAN以强大的指标定义和查询加速能力，直连数仓公共层明细数据，自动化代持宽表与汇总表开发，实现了NoSQL指标定义、NoETL指标开发、统一指标管理，一举解决了指标“开发周期长、口径不统一
·2025-02-28 20:34

【数据仓库】数仓分层设计

一、为何分层？随着信息技术的快速发展，传统数据库已经无法存储和处理海量的数据，数据仓库应运而生。官方说明：数据仓库是用于支持企业决策制定和分析，它通过将不同来源的数据整合在一起，为用户提供一致、全面且易于访问的数据视图。可以简单理解为数据仓库就是专门用来存储和分析海量的历史数据，让数据真正地产生价值，为企业赋能。之前看到过一句话说的很不错，数据仓库的第一性原理是什么？就是以通过整合、优化和管理数据
·2025-02-28 02:35

最全数仓实践：总线矩阵设计_数仓总线矩阵(2)

所以，总线矩阵和一致性维度、一致性事实共同组成了Kimball的多维体系结构基础。在这种多维体系结构（MD）的数据仓库架构中，主导的思想便是分步建立数据仓库，并由数据集市组合成企业的数据仓库。但是，在建立第一个数据集市前，架构师首先要做的就是设计出在整个企业内具有统一解释的标准化的维度和事实，即一致性维度和一致性事实，而开发团队必须严格的按照这个体系结构来进行数据集市的迭代开发。如果我们在建立数据
2401_84170391·2025-02-26 15:09

数据仓库面试题集锦（附答案和数仓知识体系），面试必过

数据仓库模型的选择是灵活的，不局限与某种模型方法；数据仓库数据是灵活的，以实际需求场景为导向；数仓设计要兼顾灵活性、可扩展性、要考虑技术可靠性和实现成本1）调研：业务调研、需求调研、数据调研2）划分主题域
m0_60635001·2025-02-26 13:20

preview_220624,Day08_DM层建设实战,

一些公司早期的数据集市后期可能会演变成为数仓系统。本项目中在数据集市层面主要进行粗粒度汇总，也可以将这些功能下放至DWS层完成。
啊六六六·2025-02-26 04:51

数仓建模—数据管理能力成熟度评估模型(DCMM)

文章目录数仓建模—数据管理能力成熟度评估模型(DCMM)数据管理能力成熟度研究现状国外研究现状国内研究现状DCMM与其他数据管理体系有什么区别什么是DCMMDCMM包含哪些内容DCMM等级评估等级划分什么样的企业可以申请
不二人生·2025-02-26 02:07

简单搞定数仓搭建:数仓规范

1.数据模型架构规范1.1数据层次的划分ODS：OperationalDataStore，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于DW数据的一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到DMP。CDM：CommonDataModel，公共维度模型层，又细分为DWD和DWS。它的主要作用是完成数据加工与整合，建立一致性的维度，构建可
白枭·2025-02-26 01:59

数仓搭建实操(传统数仓orale):DM数据集市层

需求:根据映射表建表个贷客户违约信息表建表CREATETABLEDM.PERSON_LOAN_WY_INFO(DATE_DTDATE,CUST_CUNTNUMBER,CUST_FINNUMBER,CUST_BADNUMBER,CUST_FIN_PERVARCHAR2(30),CUST_BAD_PERVARCHAR2(30),CUST_EXC_RATVARCHAR2(30));COMMENTONCO
想做富婆·2025-02-25 20:54

【数字IC验证快速入门】5、快速上手Linux下的文本编辑神器gvim

为帮助想入门前端IC验证的朋友，思忱一二后，特开此专栏，以期花最短的时间，走最少的弯路，学最多的IC验证技术知识。易忘却好用的小技巧CheatSheet：选中写的单词然后变成大写
ReCclay·2025-02-24 15:00

【干货】程序员常访问的国外技术交流网站汇总

当然因为多方面原因，通常最新最权威的技术知识传到国内存在一定“时差”。本文将给大家分享技术人员经常访问的国外技术交流社区网站。1.stackoverflowhttps:
·2025-02-24 14:56

android学习，android后端服务器的搭建

一、硬技能：专业的技术知识1.Java/Kotlin开发语言Java常用数据结构：ArrayList、Vector、CopyOnWriteArrayList、HaspMap、ConcurrentHashMap
2401_84413531·2025-02-24 04:12

大模型应用开发：核心技术与领域实践

为了解答这些疑问，提供系统的技术知识和实战经验，《大模型应用开发：核心技术与领域实践》应运而生。
每天五分钟玩转人工智能·2025-02-23 23:08

w223信息技术知识赛系统设计与实现

作者简介：多年一线开发工作经验，原创团队，分享技术代码帮助学生学习，独立完成自己的网站项目。代码可以查看文章末尾⬇️联系方式获取，记得注明来意哦~赠送计算机毕业设计600个选题excel文件，帮助大学选题。赠送开题报告模板，帮助书写开题报告。作者完整代码目录供你选择：《Springboot网站项目》400套《ssm网站项目》800套《小程序项目》300套《App项目》500套《Python网站项目
栗豆包·2025-02-22 23:35

大数据MaxCompute教程（阿里云离线数仓项目）学习笔记20231127

1数据仓库概念数据仓库定义（DataWarehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。AI：数据仓库是一个大型、集中、主题导向的数据库系统，用于支持企业决策制定、分析和报告的需要。它统一了来自不同数据源的数据，并将其在一个可查询的数据模型中进行了整合和转换，以便于分析和报告。数据仓库还包括数据清洗、抽取、转换和加载（ETL）的过程，以保证数据的准确性、一致性和完整性。
多刷亿点题⑧·2025-02-22 22:54

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

点一下关注吧！！！非常感谢！！持续更新！！！Java篇开始了！目前开始更新MyBatis，一起深入浅出！目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark（已更完）Flink（已更完）ClickHouse（已
m0_74823705·2025-02-22 21:50

数仓实战05：数仓搭建-DWS层

1.业务术语1）用户用户以设备为判断标准，在移动统计中，每个独立设备认为是一个独立用户。Android系统根据IMEI号，IOS系统根据OpenUDID来标识一个独立用户，每部手机一个用户。2）新增用户首次联网使用应用的用户。如果一个用户首次打开某APP，那这个用户定义为新增用户；卸载再安装的设备，不会被算作一次新增。新增用户包括日新增用户、周新增用户、月新增用户。3）活跃用户打开应用的用户即为活
曾牛·2025-02-21 23:41

计算机程序制作的小作品,义乌市中小学生电脑作品制作比赛201203

1、浙江省义乌市教育研修院关于举办2012年义乌市中小学生电脑作品制作比赛暨首届青少年网络道德建设专题创作活动的通知各中小学：为进一步推进和加强中小学信息技术教育，普及信息技术知识，培养学生创新精神和实践能力
东南前哨·2025-02-20 15:32

ClickHouse 数仓

ClickHouse是OLAP并且面向列的数据管理系统.具有高性能分析任何应用,从是嵌入式服务到成百台服务器.开源并且面向列的SQL存储ClickHouse首先是一个开源的SQL数仓,并且带有高性能,成熟
大怀特·2025-02-20 04:56

阿里云 MaxCompute MaxQA 开启公测，解锁近实时高效查询体验

MCQA2.0）查询加速功能，在独享的查询加速资源池的基础上，对管控链路、查询优化器、执行引擎、存储引擎以及缓存机制等多个环节进行全面优化，显著减少了查询响应时间，适用于BI场景、交互式分析以及近实时数仓等对
阿里云大数据AI技术·2025-02-20 00:23

易点天下与火山引擎ByteHouse共建高性能数仓，助力智能营销效率跃升

近日，全球领先的企业国际化智能营销服务商易点天下与火山引擎ByteHouse达成合作，双方将聚焦智能营销场景，建设高性能数仓，为海量数据提供更精准、实时性更强的分析服务。
·2025-02-19 15:35

酷克数据启动鲲鹏原生应用开发合作

酷克数据将基于鲲鹏硬件底座、OpenEuler、开发套件KunpengDevKit、应用使能套件KunpengBoostKit开展面向金融、政务、电信、能源、交通等重点行业的原生应用开发，打造基于鲲鹏架构的云数仓产品解决方案
·2025-02-19 15:03

携手鲲鹏昇腾 HashData展现云原生数仓创新力量

酷克数据作为华为鲲鹏生态重要合作伙伴，受邀出席本次大会，展示其与鲲鹏昇腾生态联合开发的云数仓解决方案及应用案例，与全球开发者共同探讨云原生数仓前沿技术。
·2025-02-19 15:03

计算机三级网络技术知识点汇总【1】

第一章网络系统结构与设计及基本原则1.计算机网络的分类按照其覆盖的地理范围，可分为：局域网：覆盖城市、校园或较小区域的计算机网络。城域网：将同一区域内的多个局域网互联起来。局域网：提供不同城市、国家的计算机网络。2.宽带城域网的结构2.1宽带城域网完整的宽带城域网主要包括网络平台、业务平台、管理平台3个平台与一个城市宽带出口。2.1.1宽带城域网各层的主要功能用户接入层：接入层解决的是"最后一公里
Tanecious.·2025-02-19 10:50

数仓_数据口径

数仓_数据口径数据口径含义数据口径包含口径收敛数据口径含义在数据仓库（数仓）中，数据口径是指在数据统计和分析过程中，对数据的定义、计算方法、范围和标准等方面的详细规定。
TTXS123456789ABC·2025-02-19 06:56

Flink SQL 优化实战 - 维表 JOIN 优化

作者：龙逸尘，腾讯CSIG高级工程师背景介绍维表（DimensionTable）是来自数仓建模的概念。
腾讯云大数据·2025-02-17 04:01

【HarmonyOS实战开发】鸿蒙左右拖动切换图片效果实现

效果图预览●更多鸿蒙最新技术知识点，请移步前往小编：https://gitee.com/使用说明点击中间按钮进行左右拖动切换图片。实现思路本例涉及的关键特性和实现方
代码改变世界996·2025-02-16 22:22

软考高级信息系统项目管理师第四版目录

根据第4版教程目录来看（详细目录请看下文），大幅度增加了技术部分内容（前面5章都是技术知识），而管理部分还是以十大管理领域为框架，并没有参考最新的PMP第7版来，所以虽然新版教程出来了，但是大部分管理部分知识与第
月梦工作室·2025-02-16 12:06

系统集成项目管理工程师教程第二版

系统集成项目管理工程师教程第二版目录第1章信息化知识第2章信息系统集成及服务管理第3章信息系统集成专业技术知识第4章项目管理一般知识第5章项目立项管理第6章项目整体管理第7章项目范围管理第8章项目进度管理第
月梦工作室·2025-02-16 12:05

CSS 核心技术知识点详解：从基础到进阶

本文基于图中提供的17个CSS核心知识点展开讲解，涵盖基础概念、布局原理、实战技巧及性能优化等内容。每个知识点均附代码示例和原理分析，帮助读者系统性掌握CSS核心能力。1.选择器作用：定位HTML元素并应用样式。常见类型：类选择器：.class-name{...}ID选择器：#id-name{...}属性选择器：[type="text"]{...}代码示例：.button{color:red;}/
秋水为渡·2025-02-16 10:51

《敏捷团队必备：高效任务分配工具》

例如，将一个需要专业技术知识的任务分配给了没有相关经验的成员，不仅任务完成质量差，还浪费了大量的时间和人力成本。据相关数据显示，在因任务分配不合理导致失败的项目中，资源浪费的平均比例高达30%。
·2025-02-14 18:28

《敏捷团队必备：高效任务分配工具》

例如，将一个需要专业技术知识的任务分配给了没有相关经验的成员，不仅任务完成质量差，还浪费了大量的时间和人力成本。据相关数据显示，在因任务分配不合理导致失败的项目中，资源浪费的平均比例高达30%。
·2025-02-14 17:25

数据湖和数据仓库的区别？

不同点：架构上，数仓基本要求符合DDL定义的结构，数据湖则湖纳百川。数据上，数仓为结构化数据设计，数据湖，湖纳百川。模块上，数仓一般
春风不会绿大地·2025-02-14 08:25

Hive数据库及表操作

数仓原理以及Hive入门：数仓原理：数仓（DataWarehouse）是用于支持企业决策的数据存储和分析系统。
亦576·2025-02-13 07:09

新型大数据架构之湖仓一体（Lakehouse）架构特性说明——Lakehouse 架构（一）

湖仓一体（Lakehouse）——新的大数据架构模式同时具备数仓与数据湖的优点湖仓一体架构存储层计算层湖仓一体特性单一存储拥有数据仓库的查询性能存算分离开放式架构支持各种数据源类型支持各种使用方式架构简单数据共享
m0_74825238·2025-02-13 05:24

hive数仓的分层与建模

Hive数据仓库分层和数据建模是一种常见的数据仓库设计方法，旨在通过分层的方式组织数据，提高数据的可维护性、可复用性和查询性能。以下是关于Hive数据仓库分层和数据建模的详细知识：一、Hive数据仓库分层数据仓库通常采用分层架构，目的是将数据按照不同的处理阶段和用途进行划分，便于管理和优化。常见的分层架构包括以下四层：1.ODS（OperationalDataStore，操作数据存储层）作用：OD
korry24·2025-02-11 13:04

农业信息技术知识点（一）

第一章1.信息是什么？信息是信息源所发生的各种信号和消息经过传递被人们所感知、接受、认识和理解的内容的统称。2.信息技术是什么？信息技术是指获取、处理、传递、存储、使用信息的技术，是能够扩展人们的信息功能的技术。3.信息采集技术，信息处理技术，信息传递技术，信息控制技术①信息采集技术：是指能有效地扩展人类感觉器官的感知域、灵敏度、分辨力和作用范围的技术，包括传感、测量、识别和遥感遥测技术。②信息传
虫洞没有虫·2025-02-11 09:30

数仓建模—企业数字化转型的本质

数仓建模—企业数字化转型的本质数字化转型与数字化、数字化建设、数字化管理到底有什么差别？企业的数字化建设重点关注哪两个层面的实现？数字化转型中的“转型”到底指的是什么？
不二人生·2025-02-09 15:00

StarRocks实战——贝壳找房数仓实践

1.2.3StarRocks的引入二、StarRocks在贝壳的分析实践2.1指标分析2.2实时业务2.3可视化分析三、未来规划3.1StarRocks集群的稳定性3.2StarRocks新特性采用原文大佬的这篇贝壳找房数仓实践的文章整体写的很深入
吵吵叭火·2025-02-08 19:00

系统集成项目管理工程师第三版第三章要点笔记

信息技术知识(1)信息系统建设的基本概念:信息系统建设的总体目标;信息系统的生命周期：产生阶段、开发阶段、运行阶段、消亡阶段。
菜菜很忙·2025-02-08 14:27
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他