数据仓库hadoop大数据第9页

医学信息应用技术（1）急救知识点（90+）必背基础42题

其常用技术：答：是一个集信息管理、信息检索、专家系统、分析评估、数据仓库等为一体的应用软件系统。数据库

【赢在起跑线~】·2024-01-01 02:31

数据湖三剑客，大数据时代的新范式？

随着互联网高速发展，大数据技术快速发展和迅速迭代，降低了用户处理海量数据的门槛，越来越多的应运场景出现在我们的身边存储和处理需求越来越多样化，逐渐呈现出数据仓库往数据湖方向发展、批处理往流式处理发展、本地部署往云模式发展的趋势

疯码牛·2023-12-31 15:33

支撑EB级规模的大数据平台深度揭秘

编者按：4月20日，云栖大会走进深圳，由阿里云高级数据仓库专家陈鹏宇（花名：不老）分享的环节内容量巨大，引发现场用户关注。

weixin_33915554·2023-12-31 11:51

ETL数据清洗

ETL一词较常用在数据仓库，但其对象并不限于数据仓库在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。

栈溢出了·2023-12-31 09:26

大促秒杀更顺滑｜忆联携手南大通用，提供数据密集型存储新范式

面对瞬时流量高并发、海量数据查询等应用场景，固态硬盘凭借其高吞吐量、低时延等特征逐渐成为大数据时代下数据存储的重要载体，是当前本地部署的数据仓库产品重要搭载硬件，可满足电商大促场景下大规模数据的存储和查询需

Union Memory忆联·2023-12-31 07:27

大数据应用发展史：从搜索引擎时代到机器学习时代

文章目录搜索引擎时代数据仓库时代数据挖掘时代机器学习时代小结大数据技术的使用经历了一个发展过程从最开始的Google在搜索引擎中开始使用大数据技术，到现在无处不在的各种人工智能应用，伴随着大数据技术的发展

善守的大龙猫·2023-12-31 05:11

【遇见Doris】Apache Doris (incubating) 0.12.0版本预览

What'sDorisDoris是一款基于Mesa模型的MPP、列式数据仓库，具

ApacheDoris·2023-12-31 03:15

数据仓库基础理论

前端时间，使用阿里云MaxCompute做数据仓库，处理大数据的分析处理，整理一下数据仓库的基础理论。

大斜千变·2023-12-31 03:12

数据库MySQL入门课程

简介1.什么是数据库1.1、什么是数据库数据库：DB（DataBase）概念：数据仓库，软件，安装在操作系统之上1.2、数据库分类关系型数据库：SQL（StructuredQueryLanguage）MySQL

射手座的程序媛·2023-12-31 02:51

文档型非关系数据库MongoDB经验总结

数据仓库是在数据库管理系统管理控制下在一定介质中创建的数据库管理系统：数据库管理软件，用于建立维护操作数据库数据库系统：由数据库和数据库管理系统等构成的数据库开发工具集合。

大强哥666·2023-12-30 07:19

AI大模型时代下运维开发探索第二篇：基于大模型(LLM)的数据仓库

在SREWorks社区聚集了很多进行运维数仓建设的同学，大家都会遇到类似的挑战和问题：数仓中存储大量数据消耗成本，但很多存储的数据却并没有消费。进数仓的ETL学习成本高、管理成本高，相关同学配合度低，以及上游结构改动后ETL却迟迟无人调整。数仓中数据的时效性、准确性问题，导致很多场景无法完全依赖数仓展开。上面的种种让推广数仓的同学很犯难：明明花了大力气构建了统一数仓，但却又受限于各种问题，无法让其

阿里云大数据AI技术·2023-12-30 07:39

长文解读 "数据仓库" 面试必备知识

数仓分层数仓简介1.数据仓库和数据库的区别数据仓库：数据量特别的大，TB~PB级别会保留历史数据一般使用OLAP分析（On-LineAnalyticalProcessing），联机分析处理（聚合操作），

you的日常·2023-12-29 15:28

Apache Druid任意文件读取漏洞（CVE-2021-36749）

1.漏洞描述ApacheDruid是一个集时间序列数据库、数据仓库和全文检索系统特点于一体的分析性数据平台。

chaojixiaojingang·2023-12-29 13:31

浅识数据库与数据仓库的区别

通常我们会认为数据库与数据仓库都是用来存储数据的一个库，好像并没有什么明显区别，下面就从几个方面简单认识一下两者的区别。从名称角度区分数据库(Database)：用来存储一些基础的、核心的数据。

QYHuiiQ·2023-12-29 09:28

什么是ETL?

这个过程通常用于将数据从一个或多个数据源抽取出来，进行必要的处理和转换，最终加载到目标数据库、数据仓库或其他系统中。

小玉起起·2023-12-29 09:25

数据仓库-数仓优化小厂实践

大数据点滴·2023-12-29 09:25

数据库是否可以直接作为数据仓库的数据源

在数据仓库使用数据时，我们是否可以直接将数据库作为数据源？如果使用了，会存在哪些问题？

QYHuiiQ·2023-12-29 09:54

大数据技术16：数据湖和湖仓一体

前言：近几年大数据概念很多，数据库和数据仓库还没搞清楚，就又出了数据湖，现在又开始流行湖仓一体。互联网公司拼命造高大上概念来忽略小白买单的能力还是可以的。

Java架构何哥·2023-12-29 04:05

云卷云舒：如何选择正确的数据库

2，产品新版发布，建议技术创新角度使用新型数据库，如云原生数据库、数据仓库，对于生产需求不匹配带来的需求，建议选型不变，过渡期间完成选择，云数据库是首选。

Cloud云卷云舒·2023-12-28 20:32

数据仓库（八）：数据仓库中数据库设计的基本模型

关于多维模型的内容可参考Kimball的著作《数据仓库工具箱：维度建模的完全指南》等。广泛采用的数据库设计模型有两种：关系型和多维型。

iteye_14608·2023-12-28 18:27

银行数仓建模方法论

为了更好地管理和利用这些数据，银行数据仓库体系应运而生。在前面的文章中，我们介绍了银行数据仓库体系的基础知识，本篇文章将重点介绍银行数据仓库体系实践（7）—数据模型设计及流程。

添柴少年yyds·2023-12-28 18:56

数据仓库架构以及数据模型的设计

1、什么是数据仓库？权威定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。

添柴少年yyds·2023-12-28 18:24

Flink开发利器StreamX

在目前云原生架构的普及和湖仓一体化的大背景下，我们已经确定了将Doris作为离线数据仓库，将TiDB(目前已经应用于生产)作为实时数据平台，同时因为Doris具有onMySQL的odbc能力，所以又可以对外部数据库资源进行整合

Apache StreamPark·2023-12-28 15:34

Vuex介绍

通俗点讲可以想象为一个“前端数据库”（数据仓库），管理前端项目变量。2、Vuex的作用：Vuex的作用可以防止变量名重复，管理变量。3、Vuex的能够解

落日飞行·2023-12-28 14:02

数据仓库基本信息

数据仓库基本理论数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。

许一世流年绝不嵩手 cium·2023-12-28 11:46

hql、数据仓库、sql调优、hive sql、python

SQL/HQLHQL(HibernateQueryLanguage)是面向对象的查询语言SQL的操作对象是数据列、表等数据库数据;而HQL操作的是类、实例、属性#FROMStringhql="fromcom.demo.bean.User"="select*fromuser"#WHERE"formUseruwhereu.id=1"="select*formuserwhereid=1"#查询出一个St

许一世流年绝不嵩手 cium·2023-12-28 11:46

数据仓库与数据集成架构：数据仓库与数据仓库规范与标准的制定与应用

1.背景介绍数据仓库是一种用于存储和管理大量结构化数据的系统，它的主要目的是为了支持数据分析和报告。数据仓库通常包括一个或多个数据源，这些数据源可以是来自不同的系统或来自不同的数据库。

一枚可爱的程序女孩·2023-12-28 05:45

MetaBase指南-Mac下的注册&安装

如果你经有了清洗好的数据仓库，那么用这个是最快速的办法生成数据仪表板，而不用再去用什么BI工具。

啥都会点的狐狸·2023-12-28 03:51

Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表(类似于RDBMS中的表)，并提供类SQL查询功能；Hive是由Facebook开源，用于解决海量结构化日志的数据统计。

之古·2023-12-28 02:58

下载-安装-启动elasticsearch

ElasticSearch基于ApacheLuence构建的开源搜索引擎采用Java编写，提供简单的易用的RestfulAPI轻松的横向扩展，可支持PB级的结构化或非结构化数据处理应用场景海量数据分析引擎站内搜索引擎数据仓库安装下载地址这里我下载的是

媛猿YY·2023-12-28 02:55

Hive 部署

一、介绍ApacheHive是一个分布式、容错的数据仓库系统，支持大规模的分析。

有人看我吗·2023-12-27 23:54

GBASE南大通用 GCDW&阿里云计算巢：自动化部署云原生数据仓库

目前，GBASE南大通用已与阿里云计算巢合作，双方融合各自技术优势，助力企业用户实现云上数据仓库的自动化部署，让用户在云端获取数据仓库服务“更简单”，让用户在云端使用数据仓库服务“更便捷”，满足企业用户对高效便捷

GBASE数据库·2023-12-27 21:51

GBASE南大通用-Teradata迁移到GBase 8a解决方案

GBASE南大通用自主研发的GBase8aMPP(GBaseUPLDW)分布式逻辑数据仓库，已经完成了100+用户TeraData等国外数据库替换迁移。

GBASE数据库·2023-12-27 21:51

【知乎大数据技术】用Flink取代Spark Streaming！知乎实时数仓架构演进

“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。

yoku酱·2023-12-27 19:34

数据库基础面试第三弹

然而，MyISAM引擎非常适合于读密集型的应用，例如数据仓库

测试萧十一郎·2023-12-27 19:57

HBase基础知识（六）：HBase 对接 Hive

1.HBase与Hive的对比1．Hive(1)数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。

依晴无旧·2023-12-27 14:49

浅谈数据仓库运营

好的数据仓库需要提前规划和好的运营，才能支持企业的发展，为企业提供数据分析基础。

qq_36120059·2023-12-27 12:53

电商数据分析-03-电商数据采集

参考最最最全数据仓库建设指南，速速收藏！！第1章数据仓库概念数据仓库规划1.1数仓搭建我们这里所说的数据仓库，是基于大数据体系的，里面包含标签类目，区别于传统的数据仓库。

IT从业者张某某·2023-12-27 11:14

《系统架构设计师教程（第2版）》第3章-信息系统基础知识-04-决策支持系统 (DSS)

系统的发展1.2决策支持系统的定义1.2.1定义一1.2.2定义二1.2.3教材归纳1.3DSS的基本模式1.4DSS的结构2.DSS的功能3.DSS的特点4.DSS的组成4.1数据的重组和确认4.2数据仓库的建立

玄德公笔记·2023-12-27 10:56

Hadoop大数据实战系列文章之HDFS文件系统

Hadoop附带了一个名为HDFS(Hadoop分布式文件系统)的分布式文件系统，专门存储超大数据文件，为整个Hadoop生态圈提供了基础的存储服务。本章内容：1)HDFS文件系统的特点，以及不适用的场景2)HDFS文件系统重点知识点：体系架构和数据读写流程3)关于操作HDFS文件系统的一些基本用户命令1.HDFS特点：HDFS专为解决大数据存储问题而产生的，其具备了以下特点：1)HDFS文件系统

测试帮日记·2023-12-26 21:39

电商数仓笔记7_数据仓库系统（数仓搭建-DWD层，数仓搭建-DWS层，数仓搭建-DWT层，数仓搭建-ADS层）

电商数仓一、数仓搭建-DWD层1、DWD层（用户行为日志）（1）日志解析思路（2）get_json_object函数使用（3）启动日志表（4）页面日志表（5）动作日志表（6）曝光日志表（7）错误日志表（8）DWD层用户行为数据加载脚本2、DWD层（业务数据）（1）DWD层业务数据首日装载脚本（2）DWD层业务数据每日装载脚本二、数仓搭建-DWS层1、系统函数（1）nvl函数（2）日期处理函数（3）

明灭18·2023-12-26 17:47

电商数仓笔记6_数据仓库系统（数仓搭建-ODS层，数仓搭建-DIM层）

电商数仓一、数仓搭建-ODS层1、ODS层（用户行为数据）（1）创建日志表ods_log（2）Shell中单引号和双引号区别（3）ODS层日志表加载数据脚本2、ODS层（业务数据）（1）ODS层业务表首日数据装载脚本（2）ODS层业务表每日数据装载脚本二、数仓搭建-DIM层1、商品维度表（全量）2、优惠券维度表（全量）3、活动维度表（全量）4、地区维度表（特殊）5、时间维度表（特殊）6、用户维度表

明灭18·2023-12-26 17:17

四、电商数据仓库系统——第5章数据仓库设计

5.1数据仓库分层规划优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。5.2数据仓库构建流程以下是构建数据仓库的完整流程。

怕被各位卷死·2023-12-26 17:47

ETL 数据抽取有哪些常见的应用场景？

1、数据仓库建设，从基础差到数据集市到主题库2、数据迁移，信息系统切换新机器是需要3、数据整合，将多个数据来源整合到一个数据库中4、数据同步，为了保证信息系统的高可用或基于安全考虑，进行数据同步

王永翔·2023-12-26 15:21

数据中台与数据仓库有什么区别？

数字化转型浪潮卷起各种新老概念满天飞，数据中台、数据仓库轮番在朋友圈刷屏，企业还没推开数字化大门，先被各种概念绊了一脚。今天咱们就来看下这两者究竟有啥区别。

WakeData惟客数据·2023-12-26 14:38

【华为数据之道学习笔记】6-6从“保姆”模式到“服务+自助”模式

这也是传统意义上的数据仓库的标准报告生成方式，强依赖于IT人员，贯穿整个数据分析过程，从获取数据、建模到设计报告

码农丁丁·2023-12-26 08:22

Hive02_基本使用，常用命令

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

程序喵猴·2023-12-26 08:39

数据仓库【2】：架构

数据仓库【2】：架构1、架构图2、ETL流程2.1、ETL--Extract-Transform-Load2.1.1、数据抽取（Extraction）2.1.2、数据转换（Transformation）

QQ719872578·2023-12-26 06:57

大数据从业者必知必会的Hive SQL调优技巧 | 京东云技术团队

摘要：在大数据领域中，HiveSQL被广泛应用于数据仓库的数据查询和分析。然而，由于数据量庞大和复杂的查询需求，HiveSQL查询的性能往往不尽人意。

京东云技术团队·2023-12-26 06:33

数据仓库【4】：最佳实践

数据仓库【4】：最佳实践1、表的分类1.1、事实表1.2、维度表1.3、事务事实表1.4、周期快照事实表1.5、累积快照事实表1.6、拉链表2、ETL策略2.1、全量同步2.2、增量同步3、任务调度3.1

QQ719872578·2023-12-26 01:59

推荐频道

数据仓库hadoop大数据