E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
【数据仓库】
数据挖掘和大数据的区别
操作对象是
数据仓库
,数据相对有规律,数据量较少。大数据一般指对互联网中杂乱无章的数据进行筛选、整合和分析。操作对象一般是互联网的数据,数据无规律,数据量极大。
秋不溜啾
·
2023-10-25 12:54
数据库
1024程序员节
大数据
数据挖掘
hive知识点总结
Hive一、Hive简介什么是HiveHive由FaceBook实现并开源基于Hadoop的
数据仓库
工具可以将结构化的数据映射为一张数据库表并提供HQL(HiveSql)查询功能底层数据是存储在HDFS
看着天上飞的猪
·
2023-10-25 01:53
大数据开发
hive
hadoop
大数据
商业数仓的搭建【转载】
数据仓库
之所以是仓库而不是工厂是因为,数仓自身不需要生产数据,也不需要消费数据,数据来自外部,并且开发给外部应用。
为祁
·
2023-10-24 23:21
系统架构师备考倒计时13天(每日知识点)
1.
数据仓库
四大特点面向主题的。操作型数据库的数据组织面向事务处理任务,各个业务系统之间各自分离,而
数据仓库
中的数据是按照一定的主题域进行组织的。集成的。
Elaine猿
·
2023-10-24 21:17
系统架构设计师
系统架构
软考
系统架构师
数据库、
数据仓库
相关
1.数据库与
数据仓库
的区别数据库Database(Oracle,Mysql,PostgreSQL)主要用于事务处理。
. . . . .
·
2023-10-24 20:32
1024程序员节
1024程序员节献礼,火山引擎ByteHouse带来三重产品福利
作为被程序员们日常广泛使用的工具之一,
数据仓库
发展历程也很悠久。云计算等技术出现以及海量数据应用场景等愈加广泛,对
数据仓库
也提出全新要求,高性能、实时性、云原生等成为
数据仓库
发展
字节数据平台
·
2023-10-24 17:21
火山引擎
数据库
云原生
【
数据仓库
-零】
数据仓库
知识体系 ing
文章目录一.数仓基本概念二.离线数仓建设方法论三.etl流程四.数仓规范建设指南四.
数据仓库
架构五.数据可视化通过熟悉构建数仓整体的过程,可以系统的了解数仓构建理论:能够站在全局角度看数仓的运行架构,数仓执行流程
roman_日积跬步-终至千里
·
2023-10-24 16:41
数据仓库
数据仓库
<官网学大数据>Hive
Hive简介Hive是简历在HadoopHDFS上的
数据仓库
基础架构Hive可以用来进行数据提取转化加载(ETL),通过sqoop加载数据Hive定义了简单的sql查询语言HqlHive是SQL解析引擎
kangapp
·
2023-10-24 16:48
Hadoop伪分布式集群笔记
解决海量数据存储YARN(作业调度和集群资源管理框架):解决资源任务调度MAPREDUCE(分布式运算变成框架):解决海量数据计算HBASE:基于hadoop的分布式海量数据库HIVE:基于hadoop的分布式
数据仓库
爆炒八酱
·
2023-10-24 16:40
hadoop
hadoop
分布式
大数据
数据仓库
基础(一)
数据仓库
的由来?企业的日常运作,例如订单处理、会计账务、盘点存货、核对账目、保险申请等业务需要各种信息系统的支持,这些应用系统工作起来非常有效,但却局限于他们当初被设计的范围。
pageniao
·
2023-10-24 15:45
Hive
数据仓库
分布式集群上安装hive及问题解决
因为hive是
数据仓库
,它主要就是将执行的sql语句转化为mapreduce任务,存储结构化数据,其实数据还是存储在hdfs上的,所以依赖hadoop集群,在此我们将hive安装到master节点。
技多不压身
·
2023-10-24 15:10
hive
hive
mysql
hadoop
数据查询和业务流分开_阿里云大数据产品 | 大数据计算
一、MaxCompute1、MaxCompute概述MaxCompute(大数据计算服务)是是一种快速、完全托管的TB/PB级
数据仓库
解决方案。
weixin_39772420
·
2023-10-24 08:07
数据查询和业务流分开
HBase 原理与应用场景
HBase可以说是Hadoop和NoSQL之间的一个重要角色扮演者,既可以作为Hadoop的底层数据存储,也可以作为
数据仓库
的后端存储。在Hadoop大数据生态圈中,H
禅与计算机程序设计艺术
·
2023-10-24 01:56
Python
机器学习
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
数仓建设保姆级教程,离线和实时理论+实战)
文档大纲:一、数仓基本概念1.
数据仓库
架构我们在谈数仓之前,为了让大家有直观的认识,先来谈数仓架构,“架构”是什么?这个问题从来就没有一个准确的答案。
程序员的隐秘角落
·
2023-10-24 00:33
查询性能较 Trino/Presto 3-10 倍提升!Apache Doris 极速数据湖分析深度解读
从上世纪90年代初BillInmon在《buildingtheDataWarehouse》一书中正式提出
数据仓库
这一概念,至今已有超过三十年的时间。
SelectDB技术团队
·
2023-10-23 22:46
apache
数据库
数据仓库
数据分析
数据挖掘
大数据技术之-presto
、Presto简介1、Presto概念Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节Presto的设计和编写完全是为了解决像Facebook这样规模的商业
数据仓库
的交互式分析和处理速度的问题
是小先生
·
2023-10-23 21:24
大数据05-Hive
大数据
数据库
presto
浅谈关于
数据仓库
的理解,聊聊
数据仓库
到底是什么?
也正是这些,所以
数据仓库
的讨论的开始逐步增加。近几年的时间里,因为自助BI、敏捷BI的兴起,很多企业在部署商业智能BI的时候,经常会询问是否需要建设
数据仓库
派可数据BI可视化
·
2023-10-23 19:50
数据仓库
商业智能
数据可视化
数据仓库
spark
大数据
商业智能BI
数据分析
数据湖和
数据仓库
的建设,到底为了什么?由此产生的岗位区别在哪
数据湖这个大坑,是怎么挖的?数据在刚刚开始的时候,还是小体量,就好比创业公司,还不足够引起人们的注意。但是当数据体量上来了,就好像变成了独角兽。10个人去银行产生的数据,还能勉强搞定,但是成百上千个呢?甚至更多呢?你会说,银行有oracle这种强大的数据库啊,但是,传统数据库目前来说,只能做到处理、读写、删除一些需求,更多的还是存储数据的用途。把这些数据聚合在一起分析,数据库做不到。于是,人们在现
大数据的那些事
·
2023-10-23 18:15
Hive SQL 函数高阶应用场景
HIVE作为
数据仓库
处理常用工具,如同RDBMS关系型数据库中标准SQL语法一样,HiveSQL也内置了不少系统函数,满足于用户在不同场景下的数据分析需求,以提高开发SQL数据分析的效率。
Moutai码农
·
2023-10-23 13:22
hive
sql
hadoop
探索流批一体结构下的实时数仓
|0x00越来越高的时效性要求在
数据仓库
的建设过程里,我们一直秉承着“离线先行”的方针,因为离线的技术栈非常成熟,开发起来很快,同时监控工具也做的比较完善,出了问题能及时发现、及时处理。
晓阳的数据小站
·
2023-10-23 12:09
2019-07-25
数据管理元数据是关于数据的数据元数据打通了源数据、
数据仓库
、数据应用,记录了数据从产生到消费的全过程。
AliceGYY
·
2023-10-23 10:56
数据仓库
的概念与体系结构
数据仓库
的概念与体系结构前言数据管理技术的发展人工管理阶段文件系统阶段数据库系统阶段数据库技术与分析性应用结合的问题
数据仓库
的基本概念元数据数据粒度数据模型ETL数据集市
数据仓库
的特点
数据仓库
的组成前言任何企业都希望在如今严峻的市场竞争中利用全面的数据分析能力来获得更大更持久的竞争优势
取个名字真难啊啊
·
2023-10-23 10:15
数据仓库
大数据
数据挖掘
数据库
hive初识
1、hive是个啥1)hive主要是对mapreduce任务进行简化操作,方便工作人员快速进行数据分析;2)hive是构建在hadoop之上的
数据仓库
,能够将结构化的数据文件映射成一张表,以HQL作为查询接口
紫苓
·
2023-10-23 02:31
常见
数据仓库
模式参考
一、概述多维数据模型是最流行的
数据仓库
的数据模型,多维数据模型最典型的数据模式包括星型模式、雪花模式和事实星座模式,本文以实例方式展示三者的模式和区别。
liuzx32
·
2023-10-22 17:12
【阿里大数据中台】读书笔记1
这个岗位反应的是数据不是业务部分所鼠疫和必须的现状,
数据仓库
团队在努力服务业务人员。2011年阿里取消了RA转为数据产品经理TL?RA职能:链接业务&技术的需
深海suke
·
2023-10-22 13:20
【DBeaver】DBeaver激活使用
Dbeaver支持众多数据库,
数据仓库
,不仅可以MySQL,Oracle,PostgreSQL,SQLServer,DB2,MariaDB
小王爱写BUG
·
2023-10-22 05:37
探索大数据时代的关键技术:数据挖掘、可视化和
数据仓库
文章目录大数据和数据分析技术引言数据挖掘数据可视化
数据仓库
结论我是廖志伟,一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文创造者
我是廖志伟
·
2023-10-22 05:32
#
博主活动
大数据
数据挖掘
数据仓库
到底什么才是大数据开发?
大数据作为时下火热的IT行业的词汇,随之而来的数据开发、
数据仓库
、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
金光闪闪耶
·
2023-10-22 04:47
初识Hive
前言Hive是基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
康俊1024
·
2023-10-22 01:27
元数据管理-技术元数据解决方案
通过元数据可以打通数据源、
数据仓库
、数据应用、记录了数据流向的完整链路。它可以说是企业的数据地图,可以直接反映了企业中有什
热忱 ㅤ ㅤ
·
2023-10-21 13:18
大数据笔记
【无标题】
维度建模指南-
数据仓库
工具箱(自译)背景:在
数据仓库
中维度建模的基本原理讲解书籍资料主要是是kimball的书籍,但是国内翻译的版本一定程度上是直译,阅读过程中对理解维度建模基本的原理有一定阻碍,因此阅读原文加深理解
浩海紫冰
·
2023-10-21 12:25
数据仓库
什么是BI?BI商业智能应用能给企业带来哪些好处?
商业智能一词最早是由国际知名的IT咨询机构Gartner在1996年提出的,指的是用
数据仓库
技术、联机分析处理、数据挖掘和数据展现技术进行数据分析以实现商业价值。
cuanzhapan8891
·
2023-10-21 12:01
大数据
MySQL学习笔记--常用存储引擎InnoDB与MyISAM总结
如何生成可参考右边的帮助文档文章目录一、MyISAM特性1.并发性与锁级别2.表损坏修复3.MyISAM表支持的索引4.MyISAM表支持压缩限制1.版本MySQL5.0时单表默认最大为256TBMyISAM适用场景非事务型应用(
数据仓库
杜某1997
·
2023-10-21 12:48
MySQL
mysql
大数据测试 - 数仓测试
前言对于
数据仓库
的测试来说底层的系统会有很多有自建的集群使用spark或者flink测试,也有很多直接使用云厂商的产品比如datworks等等,再这里我想分享下抛开环境,只对
数据仓库
测试的一些小心得。
测试界的飘柔
·
2023-10-21 10:11
软件测试
职场经验
IT
数据仓库
大数据
数据挖掘
程序人生
自动化测试
软件测试
面试
认识大数据
大数据开发需要了解的几种语言HadoopSparkStorm大数据平台应用六大知识点一、大数据中的
数据仓库
和Mpp数据库如何选型?
三思而后行,慎承诺
·
2023-10-21 07:42
架构
大数据
Hive运行机制与使用
hive介绍hive是基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
数据萌新
·
2023-10-21 05:14
优秀商业可视化大屏(BI)设计演示
关于BI商业智能商业智能(BusinessIntelligence),是指利用现代
数据仓库
技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
湘北智造
·
2023-10-20 22:47
数据中台你想知道的都在这里!
数据中台和
数据仓库
,数据平台的关系是什么?数据中台和业务中台的区别是什么?数据中台建设的最大挑战是什么?数据中台的数据质量应该如何保障?数据中台的典型架构是怎样的?企业数据中台的团队如何构建?
Kaka架构
·
2023-10-20 22:19
数据中台
数据仓库
扫盲系列(1):
数据仓库
诞生原因、基本特点、和数据库的区别
数据仓库
的诞生原因随着互联网的普及,信息技术已经深入到各行各业,并逐步融入到企业的日常运营中。然而,当前企业在信息化建设过程中遇到了一些困境与挑战。1、历史数据积存。
Leo.yuan
·
2023-10-20 22:22
数据仓库
数据库
finebi
数据中的商机
“与数据同行”开通了微信群,分为
数据仓库
、数据分析、产品经理、数据治理及机器学习五大专业,现已汇聚了4000位小伙伴了,加微信号:frank61822702申请入群。
傅一平
·
2023-10-20 20:49
hive拉链表
什么是拉链表拉链表是
数据仓库
中用来记录一个事务从开始,一直到当前状态的所有变化的信息表如下是一张拉链表这张拉链表中存储的是用户的基本信息以及每条记录的生命周期我们可以使用这张表拿到当天的最新数据以及之前的历史数据拉链表使用场景在
数据仓库
的数据模型设计过程中
微亮之海
·
2023-10-20 15:08
hive
hadoop
hdfs
全闪集中式存储:金融
数据仓库
场景下的性能对比
在《Oracle
数据仓库
在超融合架构下的跑批性能验证》文章中,我们分享了金融机构利用SmartX超融合
志凌海纳SmartX
·
2023-10-20 14:34
分布式
金融
数据仓库
星环科技打造自主可控的高性能数据库,开启国产化升级新篇章
多模型数据库ArgoDB具备完整的SQL兼容性,同时具备高扩展、高可靠、多模型、存算解耦等能力,一站式满足
数据仓库
、实时数据
星环科技
·
2023-10-20 09:56
数据库
数据库
科技
数据仓库
面经总结(大数据开发相关)
数据仓库
综合1.OneData方法论的标准:3.缓慢变化维(SCD)常见的解决方案重写维度值在维度表中,仅需以当前值重写先前存在的值,不需要触碰事实表缺点:如果业务需要准确的跟踪历史变化,这种方案是没法实现的
举个栗く
·
2023-10-20 08:58
笔记
大数据
Hadoop分布式存储和计算MapReduce的使用以及Hive
数据仓库
等内容精讲
一,zookeeper环境搭建ZooKeeper致力于为分布式应用提供一个高性能、高可用,且具有严格顺序访问控制能力的分布式协调服务服务器IP主机名myid的值192.168.186.133vmone1192.168.186.134vmtwo2192.168.186.135vmthree3myid的值越高,被选举的几率越大!先把这三台机器分别重置主机名为vmone,vmtwo,vmthree,具体
刻苦的樊同学
·
2023-10-20 07:32
大数据
hadoop
数据仓库
MapReduce
hive
数据仓库
安装与使用
第一部分:hive介绍1、hive的概念hive是基于hadoop的一个
数据仓库
的工具,也是数据库,存放的是历史数据,用于数据挖掘etl。
rose and war
·
2023-10-20 01:24
大数据
hive
数据仓库
hadoop
Hive3.x数仓开发
文章目录一、数仓仓库概念二、
数据仓库
分层架构ODS\DW\DA(ADS)ETL\ELT三、ApacheHive概述为什么使用HiveHive和Hadoop关系四、ApacheHive架构、组件组件五、ApacheHive
_七七
·
2023-10-20 01:24
大数据数仓
数据仓库
学习
hive
【Hive】(二十二)往 Hive 表中插入与导出数据方式load 、insert 、sqoop 等方式详解
hive表中导入数据三、通过查询insert....select的形式往hive中导入数据四、使用create....as语句往hive表里装载数据五、从hive表里导出数据到文件系统一、前言往hive
数据仓库
的表中导入数据
云 祁
·
2023-10-20 01:20
#
----
Hive
hive
数据仓库
Hive篇面试题+详解
Hive是一个基于Hadoop的
数据仓库
工具,它提供了一个类SQL的查询语言(HiveQL)来查询和分析存储在Hadoop集群中的大规模数据。
Young_IT
·
2023-10-19 22:39
大数据开发
hadoop
hive
大数据
【转】数据库、数据湖、
数据仓库
、湖仓一体、智能湖仓,分别都是什么鬼?
这个都立意到了数据中台和智能湖仓了,算是一个阶段的总结?URL:https://www.sohu.com/a/470290853_258957文中划重点:“湖仓一体”只是开局,智能湖仓才是终极智能湖仓并非单一产品,它描述的是一种架构。这套架构,以数据湖为中心,把数据湖作为中央存储库,再围绕数据湖建立专用“数据服务环”,环上的服务包括了数仓、机器学习、大数据处理、日志分析,甚至RDS和NOSQL服务
万州客
·
2023-10-19 22:56
上一页
15
16
17
18
19
20
21
22
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他