--------【数据仓库】第68页

坚持“专库专用”路线，亚马逊云科技加速布局数据库服务

显然，以亚马逊云科技为代表的云计算服务商，对于数据库最近十年的发展有着深远影响，不仅彻底改变了数据库的使用方式、理念，更是推动了数据仓库、数据湖、数据库智能技术的快速发展。

大数据在线·2022-11-21 03:05

spark on hive原理与环境搭建 spark研习第三季

一、sparkonhive原理与搭建1.hive的本质1）Hive是分布式数据仓库，同时又是查询引擎，所以SparkSQL取代的只是Hiv

简约AI·2022-11-20 10:12

Spring使用JdbcTemplate操作数据库

一、前期准备1、引入jar包，在spring配置文件中配置数据仓库数据库连接池2、配置jdbcTemplate对象，注入DataSource-->3、在A类中注入jdbcTemplate对象（通过@AutoWired

小曹来巡山·2022-11-20 10:01

hadoop+Springboot+Echarts网站访问量数据分析及可视化

网站访问量静态日志文件分析系统目录大纲获取静态日志数据预处理新建Maven打包jar包运行数据仓库开发下载安装hive修改配置文件配置MySQL元数据库实现数据仓库数据分析流量分析人均浏览量分析sqoop

muyi沐一·2022-11-20 09:22

使用python用递归的方法实现冰山立方体BUC算法（以水果分类数据为例）

冰山立方体BUC算法是一种计算稀疏立方体的构建算法，在构建数据立方体的过程中，如果构建完整的数据仓库可能会花费大量的计算、存储和时间成本。

D.r·2022-11-20 08:58

什么是数字化转型？怎样算是转型？

很多企业认为上了ERP、CRM叫做数字化转型，或者做个微服务框架放到云上，可以支持敏捷移动的开发应用也算数字化转型，还有的企业自己有数据库，重新弄个数据仓库，开发个美观一点的界面，数据实时的报表平台也是数字化转型

数加云联_小高·2022-11-20 08:39

java到大数据学习路线

五层模型理解每层含义）数据结构（重点看数组、栈、队列、链表、树）算法（重点看各种排序算法、查找算法、去重算法，最优解算法，多去LeetCode刷算法题）操作系统（重点看进程、线程、IO、调度、内存管理）数据仓库分为离线数仓和实时数仓

xuli_joe·2022-11-20 04:44

2022年11月软考系统架构设计师考试论文--湖仓一体架构

1.什么是数据仓库、数据集市和数据湖？

sunlaji008·2022-11-19 11:37

MySQL上

1、初识MySQLJavaEE：企业级Java开发Web前端（渲染页面，展示数据）后台（连接点：连接JDBC，链接前端）数据库（存数据）数据库是所有软件体系中最核心的存在1.1什么是数据库概念：数据仓库

颜如玉QaQ·2022-11-19 11:49

8款国内外主流商业智能BI工具分析，助你轻松选型！

一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成。商业智能BI工具的应用在国外已广为普及，并且开始不断探索大数据和云技术。而国内，商业智能BI工具在这几年才开始慢慢被接受，企业开始有意

明月说数据·2022-11-19 07:47

DAMA数据治理学习笔记-数据仓库和商业智能(DW/BI)

数据仓库和商业智能(DW/BI)企业数据仓库提供了一种减少数据冗余、提高信息一致性，让企业能够利用数据做出更优决策的方法定义通过规划、实施和控制过程，来提供决策支持数据，支持从事报告、查询和分析的知识工作者商业智能的两层含义理解组织诉求和寻找商业机会的商业分析活动

挨踢诗人·2022-11-19 06:51

HIVE和HBASE的区别和联系

首先要知道Hive和HBase两者的区别，我们必须要知道两者的作用和在大数据中扮演的角色概念Hive1.Hive是hadoop数据仓库管理工具，严格来说，不是数据库，本身是不存储数据和处理数据的，其依赖于

kiritobryant·2022-11-19 05:56

“红亚杯”-大数据环境搭建与数据采集技能线上专题赛赛题

系列文章目录集群安装搭建赛题解析构建数据仓库赛题解析目录“红亚杯”-大数据环境搭建与数据采集技能线上专题赛赛题前言在此鸣谢资料链接一、集群安装搭建（70/70分）1.比赛框架2.比赛内容3.版本说明core-site.xml

慕铭yikm·2022-11-19 04:52

【弹出USB大容量存储设备时出问题】两步搞定

博主介绍‍博主介绍：大家好，我是淼淼_喵，很高兴认识大家~✨主攻领域：【大数据开发】【数据仓库】【ETL】【数据分析】【面试分析】点赞➕评论➕收藏==养成习惯（一键三连）欢迎关注一起学习一起讨论⭐️一起进步欢迎评论作者水平有限

chad__chang·2022-11-18 15:35

Hive与数据仓库——知识总结

Hive介绍：Hive建立在Hadoop上的数据仓库基础框架，提供了一系列工具，存储，查询和分析存储在分布式存储系统中的大规模数据集，可以将结构化的数据文件映射为一张数据库表如（csv），并提供类SQL

PineApple_Chan·2022-11-18 09:28

数据仓库Hive——DDL详细数据操作

文章目录一、Hive基本概念1.什么是Hive2.Hive的优缺点3.Hive的架构原理4.Hive和数据库的比较二、HiveDDL的基本操作指令1.展示数据库2.使用数据库3.展示表4.导入数据5.用Hive查看HDFS目录文件6.用Hive查看本地目录7.查看hive历史操作命令8.查看表的详细信息9.创建表9.1这是创建csv的方法，创建tsv就是by'\t'9.2创建内部表：9.3根据查询

2NaCl·2022-11-18 09:22

Hive—— 1.hive架构及原理

Hive由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能，底层数据是存储在HDFS上，Hive的本质是将SQL

blueicex2020·2022-11-18 09:18

构建一个商业智能 BI 分析平台，公司CIO应该重点关注什么？

企业级商业智能BI分析平台的构建是一个系统型的工程，涉及业务分析需求的把控、各类数据资源的整合清洗、数据仓库的架构设计、可视化分析报表逻辑设计、IT部门与业务部门的工作边界划分与配合等等居多环节。

派可数据BI可视化·2022-11-18 04:13

从头学习Hadoop需要多久

hadoop是大数据中必学的，如果我记得没错的话，学习hadoop用了半个月左右，主要的学习内容就是Linux操作系统高级、大数据基础和硬件介绍以及Zookeeper，学完以后能够具备Hadoop开发能力和离线数据仓库开发能力

Itmastergo·2022-11-17 19:33

2022年最新数据库经典面试题及答案汇总（含PostgreSQL、Oracle、MySQL）

·2022-11-16 22:35

大数据与数据挖掘考试题_《大数据时代下的数据挖掘》试题及答案 -

C.聚类分析D.偏差分析9)以下各项均是针对数据仓库的不同说法,你认为正确的有(BCD)。

weixin_39913105·2022-11-16 11:01

【电商数仓】日志采集架构设计原理、系统表结构解析、数仓分层相关概念、范式理论详解

文章目录一日志采集架构设计原理1为什么使用Flume将数据生产进kafka2为什么还需要一个消费的Flume3深入细节4业务日志采集二电商系统表1后台管理系统2电商业务表三数仓分层1分为哪几层2为什么要分层3数据集市与数据仓库区别

OneTenTwo76·2022-11-16 07:01

大数据实战项目之电商数仓（一）

大数据实战项目之电商数仓（一）项目介绍数据仓库概念数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进业务流程，控制成本，提高产品质量等。

放学-别走·2022-11-16 07:59

大数据、数据仓库、数据湖、ELT和ETL、数据集成

什么是大数据？免费指南和定义知识中心»数据整合»什么是大数据？免费指南和定义……相关文章大数据与农业：完整指南大数据和隐私：公司需要知道什么才能确保可信数据优化大数据的5种方法供应链管理大数据政府大数据“大数据”一词在过去十年中开始出现在词典中，但这个概念本身至少从二战开始就已经存在。最近，无线连接、互联网2.0和其他技术使对海量数据集的管理和分析成为我们所有人的现实。大数据是指对于传统的数据处理

潇洒$¥半仙·2022-11-15 23:58

大数据学习

大数据学习概述云计算高性能计算大数据存储云存储大数据分析聚类分析、分类分析大数据采集大数据预处理大数据数据库设计SparkSQL数据仓库HiveHadoop基础大数据批处理大数据实时处理概述全球移动数据流量年增长率维持在

Loren_Wang·2022-11-15 23:26

【案例分享】唯品会海量实时OLAP分析技术升级之路

中国数据资产管理峰会〗现场演讲内容整理而成】讲师介绍谢麟炯，唯品会大数据平台高级技术架构经理，主要负责大数据自助多维分析平台，离线数据开发平台及分析引擎团队的开发和管理工作，加入唯品会以来还曾负责流量基础数据的采集和数据仓库建设以及移动流量分析等数据产品的工作

yyoc97·2022-11-15 10:05

OLAP分析技术升级之路

本文转载自公众号DBAplus社群，作者：谢麟炯谢麟炯，唯品会大数据平台高级技术架构经理，主要负责大数据自助多维分析平台，离线数据开发平台及分析引擎团队的开发和管理工作，加入唯品会以来还曾负责流量基础数据的采集和数据仓库建设以及移动流量分析等数据产品的工作

weixin_33895695·2022-11-15 10:23

漫谈数仓OLAP技术哪家强？

数据仓库架构图本文侧重于数据应用之BI可视化和OLAP技术选型。一、BI可视化工具1.1BI现状大数据时代商业智能（BI）和数

傅一平·2022-11-15 10:08

唯品会海量实时OLAP分析技术升级之路

本文转载自公众号DBAplus社群，作者：谢麟炯谢麟炯，唯品会大数据平台高级技术架构经理，主要负责大数据自助多维分析平台，离线数据开发平台及分析引擎团队的开发和管理工作，加入唯品会以来还曾负责流量基础数据的采集和数据仓库建设以及移动流量分析等数据产品的工作

jun_pj_peng·2022-11-15 10:34

数据挖掘知识点总结

四种主要技术激发了人们对数据挖掘技术的开发、应用和研究的兴趣：超大规模数据库的出现，如商业数据仓库和计算机自动收集数据记录手段的普及先进的计算机技术，如更快和更大的计算能力和并行体系结构对海量数据的快速访问

StarryTank·2022-11-13 00:32

万字长文带你了解ETL和数据建模～！

什么是ETLETL是数据抽取（Extract）、转换（Transform）、加载（Load）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中

zhisheng_blog·2022-11-11 10:14

数据湖iceberg-day01-概念，特点，存储格式以及各种表中的演化，数据类型

1.1.2大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中

a-tao必须奥利给·2022-11-11 00:29

数据仓库

数据仓库的基本介绍思考:什么是数据仓库呢?数据仓库就是一个面向于主题的,主要用于存储过去历史发送的数据,对这些数据进行统计分析,从而对未来进行决策支持数据仓库最大的特点呢?

莽撞少年·2022-11-11 00:26

基于Java的校园“研帮”系统的设计与实现毕业设计-附源码201433

基于Java的校园“研帮”系统的设计与实现摘要由于数据库和数据仓库技术的快速发展，学校共享信息系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。

yuyuxun1·2022-11-10 14:48

DTCC 2020 | 阿里云李飞飞：云原生分布式数据库与数据仓库系统点亮数据上云之路

云原生数据库与数据仓库有哪些独特优势？

阿里云云栖号·2022-11-10 11:13

《大型综合项目-基于大数据平台的数据仓库》学习笔记（13）：业务数据报表篇

学完本课程，你将很容易就拿到大数据数仓建设或用户画像建设等岗位的OFFER本课程项目涵盖数据采集与预处理、数据仓库体系建设、用户画像系统建设、数据治理（元数据管理、数据质量管理）、任务调度系统、数据服务层建设

江湖人称涛哥·2022-11-10 08:54

5.1.1 电商离线数仓(数仓需求分析、日志采集、表数据加载、json数据处理、 Datax 数据导出、Tez高仿日启动测试)

电商离线数仓设计第1节需求分析电商业务简介第2节数据埋点第3节数据指标体系第4节总体架构设计4.1、技术方案选型框架选型**软件选型**服务器选型集群规模规划4.2、系统逻辑架构4.3、开发物理环境4.4、数据仓库命名规范二

weixin_47134119·2022-11-10 07:43

4.1 数据仓库基础与Apache Hive入门

数据仓库基础与ApacheHive入门一、数据仓库基本概念1、数据仓库概念2、案例：数据仓库为何而来（1）业务数据的存储问题（2）分析型决策的制定3、数据仓库主要特征面向主题性（Subject-Oriented

周纠纠·2022-11-08 10:40

hiveSQL执行，转化为MR过程

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

寒枫__梦·2022-11-08 10:40

hive sql 基本命令总结

一、hive简介hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

maligebilaowang·2022-11-08 10:39

为什么要学MySQL数据库，它有什么用？

1、Web网站系统2、日志记录系统3、数据仓库系统一，数据库的作用随着互联网技术的高速发展，预计2020年底全世界网民的数量将达到50亿。网民数量的增加带动了网上购物、微博，网络视频等产业的发展。

梁辰兴·2022-11-06 22:18

数据科学的定义、简史和主要工作流程

它结合了诸多领域中的理论和技术，包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及

九章云极DataCanvas·2022-11-04 16:30

优云软件数据专家最佳实践：数据挖掘与运维分析

广义数据挖掘：数据挖掘是从存放在数据库、数据仓库或其它信息库中的大量数据挖掘有趣知识的过程。数据挖掘技术侧重：1）概率与数理统计2）数据库技术3）人工智能技

stay_foolish12·2022-11-04 13:54

Python数据分析课程笔记

Python数据分析课程笔记本笔记仅用于记录个人学习课程章节列表Chapter1数据获取Chapter2单因子探索分析与可视化第一章数据获取数据挖掘及建模主要分为以下五个部分，数据获取阶段可采用诸如数据仓库

meichuantx·2022-11-04 11:43

大数据开发工程师招聘要求高吗？

大数据开发工程师负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等内容。必须数据仓库、hadoop生态体系、计算及二次开发、大数据平台工

我想去吃ya·2022-11-03 11:25

Spark+Flink+Iceberg打造湖仓一体架构实践探索

数据湖-大数据生态杀青数据仓库的痛点只能存储结构化数据，无法采集存储非结构化数据无法存储原始数据，所有的数据须经过ETL清洗过程离线数仓的数据表牵一发而动全身，数据调整工程量大实时数仓存储空间有限，无法采集和存储海量实时数据回溯效率低下

架构师老狼·2022-11-01 13:14

FlinkCDC-Hudi:Mysql数据实时入湖全攻略一：初试风云

Hudi是一个流式数据湖平台，使用Hudi可以直接打通数据库与数据仓库，Hudi可以连通Hadoop、hive，支持对数据record粒度的增删改查。

大数据点灯人·2022-11-01 13:42

【论文翻译】使用变更数据捕获方法通过提取-转换-加载过程实时更新数据仓库

RealTimeDataWarehouseUpdatesThroughExtraction-Transformation-LoadingProcessUsingChangeDataCaptureMethodDOI目录1介绍2相关工作2.1现有系统当前变化数据捕获方法3方法/建议的系统3.1时间戳3.2使用时间戳修改日期3.3Attunity工具复制3.4使用增量负载的视图4实验结果5结论与未来工作

随处可见的打字员·2022-11-01 12:39

SQL Server跨服务器操作数据库的图文方法(LinkedServer)

使用SSMS，可以访问、配置、管理和开发SQLServer、AzureSQL数据库和SQL数据仓库的所有组件。SSMS在一个综合实用工具中汇集了大量图形工具和丰富的

·2022-10-31 02:37

git:refusing to update checked out

在使用GitPush代码到数据仓库时，提示如下错误:[remoterejected]master->master(branchiscurrentlycheckedout)这是由于git默认拒绝了push

·2022-10-30 22:49

推荐频道

--------【数据仓库】