041-数据仓库

Hive数据仓库行转列

查了很多资料发现网上很多文章都是转发和抄袭，有些问题。这里分享一个自己项目中使用的行转列例子，供大家参考。代码如下：SELECTmy_id,nm_cd_map['A']ASmy_cd_a,nm_cd_map['B']ASmy_cd_b,nm_cd_map['C']ASmy_cd_c,nm_num_map['A']ASmy_num_a,nm_num_map['B']ASmy_num_b,nm_num
XueminXu·2024-02-28 07:47

数据仓库和数据湖的区别

数据仓库和数据湖是两种不同的数据存储和管理架构，它们有以下区别：1.数据结构：数据仓库采用结构化的数据模型，通常是规范化的关系型数据库，其中数据以表格形式组织，使用预定义的模式和架构。
图灵追慕者·2024-02-28 02:10

【云学院干货】数据仓库服务：在冗余海量数据中找到正确决策

数据仓库服务：在冗余海量数据中找到正确决策目前数据仓库分析解决方案在金融，电信，零售等多个行业发展迅速，很多企业在关键决策中需要对自身海量数据进行多样化，深层次的分析。
舒意从生·2024-02-24 07:21

每天一个数据分析题（一百六十四）

关于OLAP系统，下列选项不正确的是（）A.是基于数据仓库的信息进行分析处理过程B.用户数量相对较少，其用户主要是业务决策人员与管理人员C.对响应时间要求非常高。
紫色沙·2024-02-22 22:43

大数据计算技术秘史（上篇）

其实在大数据技术兴起之前，对于用户来讲并没有存储和计算的区分，都是用一套数据库或数据仓库的产品来解决问题。而在数据量爆炸性增长后，情况就变得不一样了。
·2024-02-22 20:33

开源ETL工具

ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将
SkTj·2024-02-20 20:15

ETL、ELT区别以及如何正确运用

这种方法适用于需要对数据进行加工和整合后再加载到目标系统的场景，如数据仓库构建、商业智能报表制作等。相比之下，ELT(Extract,Load,Transform)则是先将数据从源系统抽取出来，直
·2024-02-20 18:00

BI 数据分析，数据库，Office，可视化，数据仓库

AIGCChatGPT职场案例AI绘画与短视频制作PowerBI商业智能68集Mysql8.054集Oracle21C142集Office2021实战应用Python数据分析实战，ETLInformatica数据仓库案例实战
阿里数据专家·2024-02-20 07:29

怎么用ETL工具实现MQ消息同步

而在一些特定场景下，需要将MQ中的消息同步到数据仓库或其他存储系统中，以便进行更深入的数据分析和挖掘。这时候，ETL工具可以成为实现MQ消息同步的利器。
RestCloud·2024-02-20 06:30

ETL数据集成工具DataX、Kettle、ETLCloud特点对比

ETL数据集成工具对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。
RestCloud·2024-02-20 05:28

数据仓库、大数据平台、数据中台的区别

2、数据仓库、大数据平台、数据中台都是什么？3、大数据平台硬件架构如何设计？4、数据仓库、大数据平台、数据中台架构如何理解？
000X000·2024-02-20 05:30

我该建数仓、大数据平台还是数据中台？看完脑子终于清醒了

：顶层的有数字城市、智慧地球、智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库
zl1zl2zl3·2024-02-20 05:30

大数据架构体系(数据仓库)

1、传统大数据架构优点缺点使用场景简单，易懂，对于BI系统来说，基本思想没有发生变化，变化的仅仅是技术选型，用大数据架构替换掉BI的组件1、没有BI下如此完备的Cube架构，虽然目前有kylin，但是kylin的局限性非常明显，远远没有BI下的Cube的灵活度和稳定度，因此对业务支撑的灵活度不够，2、存在大量报表，或者复杂的钻取的场景，需要太多的手工定制化3、同时该架构依旧以批处理为主，缺乏实时的
Shaw_Bigdata·2024-02-19 21:52

企业如何选择一款高效的ETL工具

在企业发展至一定规模后，构建数据仓库（DataWarehouse）和商业智能（BI）系统成为重要举措。
·2024-02-19 19:23

ETL数据集成工具DataX、Kettle、ETLCloud特点对比

ETL数据集成工具对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。
·2024-02-19 19:52

解读 EventBridge Transform，数据转换和处理的灵活能力

除此之外，它还可以作为流式的数据管道，在不同的数据仓库和数据处理或分析程序之间快速构建ETL系统。本文将从以下几个方面展开对阿里云EventBridgeTran
·2024-02-19 18:08

数据系统架构-10.数仓开发平台

数仓开发平台1.背景数据仓库是存储各种数据的仓库，形同于现实当中存储货物的仓库，不可避免的存在“乱放”、“不方便存取”、“浪费空间”等情况。
·2024-02-19 11:45

StarRocks 介绍

其逻辑就是，基于页面的点击事件流，面向数据仓库进行OLAP
·2024-02-19 10:16

怎么用ETL工具实现MQ消息同步

而在一些特定场景下，需要将MQ中的消息同步到数据仓库或其他存储系统中，以便进行更深入的数据分析和挖掘。这时候，ETL工具可以成为实现MQ消息同步的利器。
·2024-02-19 10:43

Hive入门，Hive是什么？

Hive是一个开源的数据仓库工具，主要用于处理大规模数据集。它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy·2024-02-19 10:31

数仓面试

4）.长的帅或漂亮，前四条都可以忽略1.什么是数据仓库？如何构建数据仓库？
China_mr001·2024-02-14 21:46

Java+springboot+MYSQL停车场管理系统的设计与实现82061-计算机毕业设计项目选题推荐（免费领源码）

摘要由于数据库和数据仓库技术的快速发展，停车场管理系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
QQ_3376098506·2024-02-13 13:45

五，Geoserver栅格数据仓库（/coveragestores）

覆盖率存储描述如何访问光栅数据源。/workspaces/{workspace}/coveragestoresGet:获取{workspace}中所有覆盖范围存储的列表Post:向服务器添加新的覆盖率存储条目。Put:无效。Delete:无效。改用/coverage/{style}/workspaces/{workspace}/coveragestores/{store}Get:在{workspa
武汉小强·2024-02-13 08:07

ETL入门系列 之 ETL是什么

简单定义：将数据从OLTP系统中转移到数据仓库中的一系列操作的集合。ETL应用范围抽取：一般抽取过程需要连接到不同的数据源，以便为随后的步骤提供数据。
小纠结在简书·2024-02-13 00:34

数据仓库内容分享(十七)：Doris实践分享:它做了哪些架构优化和场景优化？

ApacheDoris是一款开源的实时数据仓库，由百度旗下的技术团队开发。它具有高性能、高可靠性、易扩展等特点，能够满足大规模数据实时查询和分析的需求。
之乎者也··2024-02-12 20:13

云计算 - 对象存储服务OSS技术全解

从媒体存储到数据备份，再到数据仓库与数据湖，我们不仅解析了OSS在各种应用场景下的关键角色，还深入讨论了其与机器学习、多媒体处理以及日志和监控等多个开发场景的结合。
·2024-02-11 18:21

离线数仓（一）【数仓概念、需求架构】

1、数据仓库概念1.1、概念数据仓库（DataWarehouse），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。（数据仓库的目的
让线程再跑一会·2024-02-11 11:58

Hive与ClickHouse的区别

Hive是Hadoop生态系统中事实上的数据仓库标准。Hive是建立在Hadoop生态中的数据仓库中间件，其本身并不提供存储与计算能力。
晓之以理的喵~~·2024-02-11 08:18

Spring框架常见的注解Spring、SpringMVC、SpringBoot）

@Repository:表示一个数据仓库组件，用于数据库访问。@Controller:定义
辞暮尔尔-烟火年年·2024-02-11 03:31

京东面试总结

1数据仓库的概念？和数据库的区别？2hdfs上传文件有哪几种方式？3Hive的优化问题？4Hive的数据倾斜问题？5数据分析？概念和总结6Django源码？7python的浅拷贝和深拷贝？
小小少年Boy·2024-02-09 21:45

OLAP 和数据挖掘的关系

从技术角度看，商务智能的过程是企业的决策人员以企业中的数据仓库为基础，经由数据挖掘工具、联机分析处理工具加上决策规划人员的专业知识，从数据中获得有用的信息和知识，帮助企业获取更多的利润。
挣扎的菜鸟·2024-02-09 18:02

数据中台 pdf_数据中台到底怎么建设，有人把他说清楚了

本人断断续续从事数据仓库约有五六年经验，在移动公司前三年是负责数据仓库项目实施，后四年开发搞大数据平台，见证了从传统数据仓库转型到大数据平台的全历程，见证了大数据平台从0到1的全部过程，包括第一个MPP
weixin_39699121·2024-02-09 18:59

亚马逊认证考试系列 - 知识点 - Redshift简介

AWSRedshift是一种快速、可扩展的数据仓库服务，可简化数据分析和BI工作负载的管理。它提供了强大的数据处理能力，使得用户能够轻松地分析海量的数据，并从中汲取有价值的信息。
customservice·2024-02-09 02:32

浅谈ETL

前言ETL开发是数据工程师必备的技能之一，在数据仓库、BI等场景中起到重要的作用。但很多从业者连ETL对应的英文是什么都不了解，更不要谈对ETL的深入解析，这无疑是非常不称职的。
秋夜雨凉·2024-02-08 21:15

SQL在云计算中的新角色：重新定义数据分析

文章目录1.云计算与数据分析的融合2.SQL在云计算中的新角色3.分布式SQL查询引擎4.SQL-on-Hadoop解决方案5.SQL与其他数据分析工具的集成6.实时数据分析与SQL7.SQL在云数据仓库中的角色
程序边界·2024-02-08 13:01

Apache Doris 用户案例库

物化视图与索引在京东的典型应用ApacheDoris在京东客服OLAP中的应用实践京东搜索实时OLAP探索与实践知乎基于ApacheDoris的DMP平台架构建设实践同程数科基于ApacheDoris的数据仓库建设货拉拉基于
hf200012·2024-02-08 11:03

13 数据仓库设计

1.数据仓库分层该项目数据分层如下：2.数据仓库构建流程2.1数据调研数据调研重点做两项工作，分别是业务调研和需求分析。2.1.1业务调研业务调研主要目标是熟悉业务流程、熟悉业务数据。
kk_io·2024-02-08 10:32

数据库学习笔记

数据库学习笔记数据库系统概述基本概念关系型数据库和非关系型数据库redis数据库引擎MyISAM与InnoDB的区别OLTP联机事务处理onlinetransactionprocessingOLAP联机分析处理数据仓库
三流淼货·2024-02-08 08:10

涤生大数据实战：基于Flink+ODPS历史累计计算项目分析与优化（上）

涤生大数据实战：基于Flink+ODPS历史累计计算项目分析与优化（一）1.前置知识ODPS（OpenDataPlatformandService）是阿里云自研的一体化大数据计算平台和数据仓库产品，在集团内部离线作为离线数据处理和存储的产品
涤生大数据·2024-02-08 08:55

最最弱日记-041-酒是一包药

最最弱日记-041-酒是一包药190517-星期五多云22-31度今天走廊上遇见张总，平日里干劲十足的他，今天显得特别没精神，有些魂不守舍的样子，脸色也不是很好。
最最弱·2024-02-08 03:40

数据仓库入门介绍框架（附带完整项目实战）

一、诞生背景企业数据分析需要：各个部门自己建立独立的数据抽取系统，导致数据不一致概述数据仓库是一个面向主题的、集成、非易失的且随时间变化的数据集合主要用于组织积累的历史数据，并使用分析方法（OLAP、数据分析
麻辣清汤·2024-02-07 23:34

大数据用户画像系统架构设计

文章目录一、用户画像数据仓库搭建、数据抽取部分二、大数据平台、用户画像集市分层设计、处理三、离线计算部分四、实时计算部分五、Solr/ES搜索引擎部分六、JavaWeb毫秒级实时用户画像接口服务七、用户画像实时展示异步触发获取
充电了么·2024-02-07 19:37

数仓：事实表设计方法，原则和三种类型选择

关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】事实表设计方法事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。
大数据左右手·2024-02-07 09:35

即席查询框架怎么选？

即席查询与批处理的区别批处理在数据仓库系统中，根据应用程序的需求，需要对源数据进行加工，这些加工过程往往是固定的处理原则，这种情况下，可以把数据的增删改查SQL语句写成一个批处理脚
大数据左右手·2024-02-07 09:32

数仓-数据质量体系建设

注：文章参考：数据仓库数据质量体系建设涤生推荐：未来的行业中，数据是企业的重要资产，而数据仓库则是对企业数据进行有效管理和利用的重要手段。
爱吃辣条byte·2024-02-07 08:26

数据湖与数据仓库

一、数据湖的定义维基百科上定义，数据湖（DataLake）是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事先对数据进行结构化处理。一个数据湖可以存储：结构化数据（如关系型数据库中的表），半结构化数据（如CSV、日志、XML、JSON），非结构化数据（如电子邮件、文档、PDF）二进制数据（如图形、音频、视频）。但是随着大数据技术的融合发展，数据湖不断演变，汇集了各种技术，包括数据仓
四月天03·2024-02-07 05:36

绕过去除 union 和 select 的 SQL 注入

环境准备：构建完善的安全渗透测试环境：推荐工具、资源和下载链接_渗透测试靶机下载-CSDN博客一、基础知识MySQL是一个流行的开源关系型数据库管理系统（RDBMS），广泛用于Web应用、数据仓库、嵌入式应用等场景
狗蛋的博客之旅·2024-02-07 05:33

数据仓库-Hive基础（二）Hive 的基本概念

什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
做个合格的大厂程序员·2024-02-07 03:42

ETL是什么，有哪些ETL工具？就业前景如何？

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
得帆云·2024-02-06 23:46

数据仓库

数据仓库（DataWarehouse）是一个面向主题（SubjectOriented)）的、集成（Integrate）的、稳定（Non-Volatile）的、反映历史变化（TimeVariant）的数据集合
茶盏浮花·2024-02-06 20:47
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他