E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
--------【数据仓库】
[实战系列]SelectDB Cloud Datax 数据写入最佳实践
新一代云原生实时数仓SelectDBCloud作为一款运行于多云之上的云原生实时
数据仓库
,致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
hf200012
·
2023-03-15 07:03
大数据
doris
SelectDB
[实战系列]SelectDB Cloud Kafka Connect 最佳实践张家锋
新一代云原生实时数仓SelectDBCloud作为一款运行于多云之上的云原生实时
数据仓库
,致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
hf200012
·
2023-03-15 07:15
kafka
大数据
分布式
Doris
selectdb
[实战系列]SelectDB Cloud Spark Connector 最佳实践
新一代云原生实时数仓SelectDBCloud作为一款运行于多云之上的云原生实时
数据仓库
,致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
hf200012
·
2023-03-15 07:14
大数据
数据有多值钱?看看主数据和元数据就知道啦
(1)在
数据仓库
领域中,元数据按用途分成:业务元数据:提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据技术元数据:支持系统对
宋懵懵的数据生活
·
2023-03-15 04:57
现代数据栈,谁主沉浮?
从最近的新闻热点里,我们不难看到大数据的身影,例如大数据加持的金税四期,疫情防控下的大数据时空伴随者等等……随着SaaS的普及和深入,数据驱动成为共识,云计算以及云端
数据仓库
的发展,逐渐有了现代数据技术栈这个新的数据生态体系
暮暮七
·
2023-03-14 22:36
big
data
数据仓库
大数据
现代数据栈MDS的主要特征
DazdataMDS1.云优先2.围绕云
数据仓库
/湖构建3.专注于解决一个问题4.以SaaS或开放核心形式提供5.低进入门槛6.社区积极支持1.云优先现代公有云供应商使MDS工具变得具有高度弹性和可扩展性
AirbyteCN
·
2023-03-14 22:19
大数据
MDS现代数据栈
数据分析
浅谈一个新人的大数据之路
第一章,大数据之路浅谈数仓&数据集市&数据湖**
数据仓库
**:英文名称为DataWarehouse,可简写为DW或DWH。
数据仓库
,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。
CCCCCColdkl
·
2023-03-14 14:57
1-大数据技术概览
大数据的4V特征数据规模巨大(Volume)、数据类型多样(Variety)、生成和处理速度极快(Velocity)、价格巨大但密度较低(Value)应用1.基于大数据的
数据仓库
的数据流转来源更多(网路爬虫
小帅明3号
·
2023-03-14 13:35
数据湖-hudi概述
从
数据仓库
看数据湖引用一下AWS
数据仓库
和数据湖官方对比。
数据仓库
是一个优化后的数据库,用于分析来自事务
zxfBdd
·
2023-03-14 11:22
大数据
数据仓库
数据库
基于Hadoop的数据分析案例-陌陌聊天软件数据分析
目录前言一、使用的工具二、操作步骤1.数据来源2.数据内容分析3.加载数据4.数据清洗ETL5.数据分析8.数据可视化前言本文章是使用基于Hadoop的
数据仓库
Hive针对陌陌聊天软件进行数据分析并可视化
Clark_liang111
·
2023-03-14 07:14
hive
sql
数据库
数据仓库
hdfs
关于
数据仓库
面试题的整理
1.
数据仓库
的定义2.
数据仓库
仓库和数据库的区别?数据库:
数据仓库
:3.关于构建
数据仓库
4.数据中台是什么?5.数据中台、
数据仓库
、大数据平台的关键区别在哪里?
DB架构
·
2023-03-14 04:48
数据库
数据仓库
数据挖掘
kettle8.0源码编译
kettle作为一款开源etl工具,在
数据仓库
领域的应用还算是比较广泛的,做过数仓的朋友应该都知道,在做etl开发的时候,对于参数变量的引用是时常出现的场景,对于一些公共的变量,kettle的做法是启动的时候默认读取用户目录下一个
paopaodaxia
·
2023-03-14 01:49
从一个SQL打印全年日历漫谈
数据仓库
中时间操作场景的重点写法
文章目录前言一、我如何快速确定今年是否是闰年的二、我如何从DATE类型数据获取年、月(月初&月末)、周、日、时、分、秒信息三、我如何快速查到本月月初第一周的周一和本月最后一周周一是在几号四、我如何快速确定每个季度的开始和结束日期五、领导让统计每个月招聘的人数,但是有的月份没招人也就没在数据库记录当月招聘信息,我怎么统计出来没有的月份六、领导让每隔十分钟统计一次数据库登录人数,我该怎么统计啊七、突发
赵延东的一亩三分地
·
2023-03-13 14:41
Oracle开发运维实战
数据仓库
时间连续性
闰年快速判断
date
SQL
大数据上手实战!训练营“9营齐开”第二季限时免费报名啦
8月18日,阿里巴巴大数据训练营“九营齐开”正式开营,来自数据计算、数据分析、
数据仓库
、搜索、机器学习、数据智能等多个领域的技术大佬亲身上阵教学,解读各技术领域基础原理,剖析行业实践案例,帮助开发者实现大数据从
阿里云Hologres
·
2023-03-13 08:33
数据仓库
模型
数据仓库
建模步骤业务建模,划分业务,梳理业务,适用的建模方法:实体建模。
cclucc
·
2023-03-13 06:57
Hive 入门
Hive是基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
djm猿
·
2023-03-13 01:30
大数据工程师、BI工程师、数据库工程师什么区别?
大数据开发工程师、BI工程师、
数据仓库
工程师、ETL工程师、有什么区别?今天我们来看一位大神如何解释。BI,商务智能。BI工程师即为从事商务智能行业的工程师。
傲娇的程序媛
·
2023-03-13 00:09
SourceTree使用
通过
数据仓库
书签来直观的组织你的项目。友好的diffs视图,让你立即看到文件的更改。支持快速查看,甚至是你的历史变更。对行级别进
Kaysen_Liang
·
2023-03-12 20:47
工具
SourceTree使用
git
mercurial
数据仓库
缓慢维
原文链接:https://www.cnblogs.com/biwork/p/3363749.html假设在第一次从业务数据库中加载了一批数据到
数据仓库
中,当时业务数据库有这样的一条顾客的信息。
lemontree_hook
·
2023-03-12 16:46
ETL/
数据仓库
技术的发展演进
数据仓库
,由
数据仓库
之父比尔·恩门(BillInmon)于1990年提出。
数据智能谷
·
2023-03-12 16:08
通过女票的淘宝历程,大白话讲解大数据各个方向的分工
--马云大纲:一、写作背景二、开始淘宝2.1推荐系统(导购员)2.2大数据平台开发(店里监控布局)2.3实时计算(收银员)2.4
数据仓库
(储物间)2.5数据分析(店长)2.6离线计算(会计)2.7数据挖掘
程序员峰哥
·
2023-03-12 15:17
面试 | 大数据知识点@2019-01-07
ETL按照统一的规则集成并提高数据的价值,是将数据从数据源向目标
数据仓库
(DW)转化的过程。
digger30
·
2023-03-12 04:51
电商
数据仓库
项目简介
项目简介基于hadoop生态搭建的电商
数据仓库
,整体功能架构包含数据采集、数仓搭建、数据导出、数据可视化等。
如虎添
·
2023-03-12 02:40
【知识】ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼
1.摘要对于
数据仓库
,大数据集成类应用,通常会采用ETL工具辅助完成。
笔名辉哥
·
2023-03-11 22:57
MySQL
数据库(DB,DateBase)概念:
数据仓库
,是个软件,安装在操作系统(linux,windows,mac···)之上。用SQL语句执行,可以储存大量的数据。
Jerry_4cb9
·
2023-03-11 18:53
大数据大比拼:Hive vs HBase,你知道两者的区别和适用场景吗?
HiveApacheHive是一种基于Hadoop的
数据仓库
软件,它允许用户使用SQL来查询和管理存储在Hadoop分布式文件系统(HDFS)上的大型数据集。Hive的
陈书予
·
2023-03-11 08:12
大数据
运维
大数据
hbase
hive
后端
运维开发
同步还是异步?ETL架构的选择,为何关系到数据处理速度和系统性能
ETL(Extract,Transform,Load)是
数据仓库
构建中必不可少的步骤,它是将数据从来源系统中提取出来,经过一系列的清洗,转换成适合目标
数据仓库
的格式,最后加载入目标系统中的过程。
陈书予
·
2023-03-11 08:12
大数据
etl
架构
数据仓库
大数据
网络
做好研发管理的四点总结
|0x00做好项目管理研发管理的范畴比较广,但个人认为,不论是Java、Python这样的后端开发,或者是IOS、安卓这一类的客户端开发,还是
数据仓库
、数据研发这一类的数据岗位,其本质都是需要通过技术来赋能业务的工种
晓阳的数据小站
·
2023-03-11 06:08
Hive 拉链表实践
背景拉链表是一种数据模型,主要是针对
数据仓库
设计中表存储数据的方式而定义的;顾名思义,所谓拉链表,就是记录历史。记录一个事务从开始一直到当前状态的所有变化的信息。
000X000
·
2023-03-11 03:00
数据仓库
数据建模
HIVE
hive
big
data
hadoop
Hive
拉链表实践
数据仓库
之拉链表
拉链表是针对
数据仓库
设计中表存储数据的方式而定义的,顾名思义,所谓拉链,就是记录历史。记录一个事物从开始,一直到当前状态的所有变化的信息。
Keven He
·
2023-03-11 03:29
#
Hive
数据仓库
hive
大数据
hadoop
big
data
数仓项目-拉链表技术精解
数仓项目-拉链表技术精解一、拉链表的使用场景在
数据仓库
的模型设计的过程中,通常我们会碰到那种非常大的业务基础信息表,如用户表;假如一个用户表有10亿条记录,50个列,就算使用orc压缩,但张表的存储也会超过
yiluohan0307
·
2023-03-11 03:29
Linux系统
hive
拉链表
缓慢变化维
历史拉链表实战
历史拉链表是一种数据模型,主要是针对
数据仓库
设计中表存储数据的方式而定义的。所谓历史拉链表,就是指记录一个事物从开始一直到当前状态的所有变化信息。
大数据技术与数仓
·
2023-03-11 03:53
Hive
数据仓库
数据仓库
拉链表
通过etl工具对操作型数据库按照时间字段增量抽取到ods或者
数据仓库
(每天抽取前一天的数据),形成每天的增量数据(实际中使用最多的情形)
思达滴
·
2023-03-11 03:22
hive
大数据
数据库
sql
hive整理-按照题目顺序--一
1:写个sql,一个表,分区是date,一个键是id,想知道第一天和第二天到这个地方相同的人/第一天的总人数、行转列、列转行、留存率、求成绩行列转换、2.hive的理解,数据分层中的应用--》数据库\
数据仓库
区别
wuli玉shell
·
2023-03-10 09:51
Hive
hive学习1--
数据仓库
与hive简介
作为一枚数据相关人员,可能逃不过每日在
数据仓库
里执行不下n遍的selectxxxfromxxx的命运,然后一边摸鱼一边等待着结果,这时间或长或短,日日如此。
sikadeerlu
·
2023-03-10 09:50
数据仓库
hive
学习
数据仓库
-Hive
1.
数据仓库
的基本概念[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-v0OhlHVi-1616598779764)(…/TypoarWrokPath/images/1615604642904
热心市民爱抽烟屁
·
2023-03-10 09:19
HIVE
hive总结
大数据
hive
【转】ETL介绍与ETL工具比较
ETL一词较常用在
数据仓库
,但其对象并不限于
数据仓库
。ETL负责将分布的、异构数据源中的数据如关系数
bo o ya ka
·
2023-03-10 08:43
数据库
c/c++
数据结构与算法
【ETL】ETL介绍与ETL工具比较
ETL一词较常用在
数据仓库
,但其对象并不限于
数据仓库
。ETL负责将分布的、异构数据源中的数据如关系数
CS正阳
·
2023-03-10 08:43
项目实战:数据提取
数据库
etl
ETL流程、数据流图及ETL过程解决方案
以最小代价(包括对日常操作的影响和对技能的要求)将针对日常业务操作的数据转化为针对
数据仓库
而存储的决策支持型数据2.ETL的前提确定ETL范围·通过
A Master
·
2023-03-10 08:12
数据处理
ETL
kettle
ETL的介绍与使用ETL工具之间的区别
ETL一词较常用在
数据仓库
,但其对象并不限于
数据仓库
。
Fanlei的技术栈
·
2023-03-10 08:11
ETL
同步、异步ETL架构的比较
背景介绍:数据的抽取,转换和加载(ETL,Extract,Transform,Load)是构建
数据仓库
过程中最复杂也是至关重要的一个步骤,我们通常用两种办法来处理ETL流程:一种是异步(Asynchronous
DB架构
·
2023-03-10 08:38
数据仓库
etl
数据库
数据仓库
数据仓库
面试题总结
根据尚硅谷电商数仓4教程进行总结目录1Hadoop常用压缩方式2HDFS存在大量小文件的问题与处理3flume零点漂移问题4数据冗余的优缺点5同步策略6关系建模与维度建模7维度建模的四个过程8数据分层9LZO索引文件失效10hive严格模式11hive中解析json串12全外连的第二种解决方式13原始数据扩展n倍14解决insertinto产生小文件问题15sqoop导出update模式16即席查
迪奥不及你的美
·
2023-03-10 07:33
hive
hadoop
数据仓库
面试题——介绍下
数据仓库
可回答:对
数据仓库
的理解问过的一些公司:京东,美团,网易,阿里(2021.09),网易有道(2021.10)参考答案:
数据仓库
的发展大致经历了这样的三个过程:简单报表阶段:这个阶段,系统的主要目标是解决一些日常的工作中业务人员需要的报表
蓦然_
·
2023-03-10 07:57
数据仓库
大数据面试题
数据库
数据仓库
数据仓库
面试题——
数据仓库
分层
答案来源:大数据面试题V3.0,523道题,679页,46w字问过的一些公司:字节x2,字节(2021.07)-(2021.08)-(2021.10),阿里x2,爱奇艺,百度x2,百度(2021.08),网易x3,网易(2021.09)x2,美团x4,美团(2021.09)x2,京东,京东(2021.09),贝壳,keep,马蜂窝x2,转转,滴滴,小米,米哈游,有赞x2,猿辅导,58x2,作业帮社
蓦然_
·
2023-03-10 07:56
大数据面试题
数据仓库
数据仓库
数据挖掘
数据库
数据仓库
面试题整理(一)
面试题整理一、
数据仓库
基础1.范式建模和维度建模2.主题域划分3.
数据仓库
分层优点4.事实表分类5.缓慢变化维6.数据输出SLA保障7.大表JOIN大表优化二、Hive基础1.HIVESQL优化2.HiveJoin
无语梦醒
·
2023-03-10 07:55
数据仓库
Hive学习
【
数据仓库
】
数据仓库
常见的一些面试题
建设
数据仓库
的八个步骤1.系统分析,确定主题操作出现的频率,即业务部门每隔多长时间做一次查询分析。在系统中需要保存多久的数据,是一年、两年还是五年、十年。
Jasenhua1
·
2023-03-10 07:55
数据仓库
数据库
面试
数据仓库
知识图谱
数据仓库
中的几种数据模型
数据仓库
中常见的模型有:范式建模,雪花模型,星型建模,事实星座模型.星型模型星型模型是数据集市维度建模中推荐的建模方法。星型模型是以事实表为中心,所有的维度表直接连接在事实表上,像星星一样。
baiba7240
·
2023-03-10 07:50
数据库
【面试】
数据仓库
面试经验总结
目录第一部分,自我介绍第二部分,专业知识细问第三部分,数据治理第四部分,开发/代码能力第五部分,个人性格测试第一部分,自我介绍通常面试官会让进行自我介绍,加项目经历介绍(大多数会按简历上的内容逐条细问)回答的时候尽量根据STAR法则回答,Situation:事情是在什么情况下发生,Target你是如何明确你的目标的,Action:针对这样的情况分析,你采用了什么行动方式,Result:结果怎样。常
chimchim66
·
2023-03-10 07:50
数据仓库
大数据
数据仓库
面试题-初级
1、什么是
数据仓库
?权威定义:
数据仓库
是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。
a1035907798
·
2023-03-10 07:20
数据仓库
一篇并不起眼的
数据仓库
面试题
点击上方"大数据肌肉猿"关注,星标一起成长后台回复【加群】,进入高质量学习交流群2021年大数据肌肉猿公众号奖励制度
数据仓库
的定义?
无精疯
·
2023-03-10 07:20
数据仓库
大数据
编程语言
数据库
人工智能
上一页
49
50
51
52
53
54
55
56
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他