E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓(
HashData携手新炬网络 共推国产云
数仓
产业发展
3月22日,酷克数据宣布与国内知名IT智能运维服务商新炬网络签署战略合作协议,新炬网络成为酷克数据核心战略合作伙伴。双方约定,将通过优势互补、资源共享的方式,建立长期合作模式和信息共享机制,在数据库相关领域展开合作,共同深化国产数据库产业布局,提升国产数据库运营支撑保障体系,共同开拓新市场。协同赋能信创生态融合发展当前,数据要素市场正值蓬勃发展时期。在刚刚召开的两会中,数据要素市场建设成为代表委员
HashData酷克数据
·
2023-03-29 04:29
数据库
云原生
数仓
九大误区,你知道多少?
纵观数据库的发展历史,传统关系型数据库最早期主要针对交易处理为主要应用设计的,对于数据仓库分析统计类的应用,也都运行在这类数据库上,比如传统的Oracle、DB2等。这一阶段,一种架构支持多类应用(OneSizeFitsAll)。随着基础设施的演进和业务需求的激增,逐步引发数据处理架构的变革,行业的技术思路由“一种架构支持所有应用”转变成“多种架构支持多类应用”,以Hadoop、MPP数据库为代表
HashData酷克数据
·
2023-03-29 04:28
产品动态
云原生
数据仓库
腾讯云大数据“数智话”技术沙龙 第一期—云数据仓库 for Apache Doris 内容回顾...
本次直播由腾讯云大数据数据仓库产品经理,腾讯云Doris技术负责人,腾讯云大数据资深研发工程师围绕腾讯云大数据在2022重磅发布的云托管实时
数仓
产品——云数据仓库forApacheDoris展开,重点介绍了其优势特性
腾讯云大数据
·
2023-03-29 02:41
数据仓库
腾讯云
大数据
云计算
腾讯云官方课:EMR
数仓
全套教程重磅首发
新姿(知)势(识),学起来腾讯云开发者社区带着干货来了腾讯云×尚硅谷大数据研究院强强联手重磅推出新年第一弹腾讯云EMR
数仓
教程发布腾讯云开发者社区“公开课”直达:https://mc.tencent.com
腾讯云开发者
·
2023-03-29 01:35
腾讯云
云计算
Lambda架构
Lambda架构->实时
数仓
目前大数据架构已经走向了数据湖时代,无论是单纯的批处理模式,还是同时支持实时和离线数据处理的Lambda架构都已经过时。均不再适应现在大数据的业务发展需要。
锋火连天
·
2023-03-28 23:00
架构
数仓
分层(ODS、DWD、DWS、DWT、ADS)和
数仓
建模
文章目录一、
数仓
分层
数仓
概念ODS(原始数据层)做了哪些事DWD(明细数据层)做了哪些事DWS(服务数据层)做了哪些事DWT(主题数据层)做了哪些事ADS(应用数据层)做了哪些事二、
数仓
建模常用的建模工具
billows9297
·
2023-03-28 22:35
数据仓库架构详解
学习目录一、基本概念二、核心框架三、
数仓
大数据架构详解(流程)一、基本概念数据仓库(DataWarehouse)是一个为数据分析而设计的企业级数据管理系统。
王博1999
·
2023-03-28 22:50
大数据
数据仓库
架构
数仓
分层架构
目录
数仓
为什么要分层
数仓
分层架构图名词介绍分层介绍
数仓
为什么要分层数据仓库一般存储的是企业级的海量数据,数据来源多样,抽象程度多样。
Lowrance_TT
·
2023-03-28 21:14
数据仓库
大数据
数据仓库
etl
hdfs
hadoop
数仓
架构演进
数仓
1.0,2.01.Lambda架构Lambda将数据处理流分为在线分析和离线分析两条不同的处理路径,两条路径互相独立,互不影响。
aaaak_
·
2023-03-28 21:36
大数据
架构
大数据
hadoop
附PPT|2020年总结实时
数仓
最新架构图
1型基于Flink的滴滴实时
数仓
实践分享嘉宾:潘澄,滴滴基础平台资深研发工程师分享大纲:整体概况业务实践平台&引擎总结反思未来规划2实时OLAP,从0到1分享嘉宾:高正炎,比特大陆分享大纲:业务背景机遇挑战架构演进架构优化未来展望
小晨说数据
·
2023-03-28 21:04
腾讯
flink
大数据
编程语言
人工智能
企业数据仓库技术架构
数据仓库基本知识什么是数据仓库数据仓库简称
数仓
,其英文名为DataWarehouse(简写为DW或DWH)。
hellozhxy
·
2023-03-28 21:33
大数据
iceberg
big
data
数据仓库
数据库
数据挖掘
数据仓库基础(通俗易懂,好文)
数仓
概念
1、数据仓库的概念数据仓库(英语:DataWarehouse,简称
数仓
、DW),是一个用于存储、分析、报告的数据系统。
Remix_xy
·
2023-03-28 21:55
大数据
离线和实时
数仓
技术架构梳理
1.离线
数仓
离线
数仓
架构基本都是基于Hive进行构建,数据分层方式如下:ODSOperationalDatastore,贴源层(原始数据层)从各个业务系统、数据库或消息队列采集的原始数据,只做简单处理,
Daphnis_z
·
2023-03-28 21:43
大数据
架构
大数据
数据仓库
数仓
的概念及架构
目录一、
数仓
的概念(数据仓库)1、对比记忆:①数据库的概念:②
数仓
的概念(全方面的数据完整保存):③银行主题④集成:⑤时间变化:⑥效率足够高:⑦数据质量⑧扩展性:2、
数仓
的用途3、
数仓
的相关技术二、数据库和
数仓
区别二
贫僧会写代码
·
2023-03-28 21:11
数仓
数据仓库
数据库
数据挖掘
数据服务:离线,实时数据服务
数据仓库业务系统和
数仓
的区别拉链表概念数据仓库保留了大量的历史数据,对时间维度上的数据分析工作提供了重要的手段。
尘世的鱼
·
2023-03-28 20:17
出资3亿,原美团联合创始人欲打造中国版OpenAI;
数仓
巨头Teradata将退出中国;谷歌企业文化遭前员工痛批 | EA周报...
周报看点1、谷歌企业文化遭前员工痛批:没有使命感官僚主义严重2、热度消退,去年元宇宙搜索流量下降约80%3、再度突破,哈工大公布重要光刻机技术4、传
数仓
巨头Teradata将退出中国,知情人士:消息属实
EAWorld
·
2023-03-28 10:34
人工智能
Hadoop体系-3数据应用体系
数仓
数据分层大体有两种分法:1、三层:DWD,DWB,DWSDWD:datawarehousedetail细节数据层,有的也称为ODS层,是业务层与数据仓库的隔离层DWB:datawarehousebase
teddrummer
·
2023-03-27 15:15
【
数仓
】Hive
数仓
的explode()炸裂函数详解
我们知道
数仓
不满足第一范式,也就是说
数仓
中的字段是可再分的,不满足原子性,即DDL可以定义一个字段类型为数组。因此才有了explode()函数,用于给这个字段展开降维。
北漠清霜
·
2023-03-27 12:19
尚硅谷
数仓
视频截图
image.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.png算一个数值的时候要留有余地,万一产品又要其他的东西,就可以给他image.png
emmmmeee
·
2023-03-27 02:03
大数据之
数仓
术语(面试篇)
特别说明:大数据的面试内容是根据大数据领域组件(hadoop、zookeeper、redis、java、scala等),
数仓
等许多内容。本篇还是以
数仓
为主,我还是会在有时间的时候把
数仓
的知识点更完。
南潇如梦
·
2023-03-26 22:30
大数据那些事
面试
大数据
big
data
36 大数据项目之电商
数仓
(即席查询之Kylin)
第3章Kylin3.0前置知识2^n-1各角度selectlocationtypesum(money)fromtbgroupbylocation,typeOLAP类型3.1Kylin简介3.1.1Kylin定义3.1.2Kylin架构3.1.3Kylin特点3.2Kylin安装3.2.1Kylin依赖环境hbase参考文档安装并且不需要分发因为只在dw1上有kylin3.2.2Kylin搭建1)下
普通网友
·
2023-03-26 22:59
大数据
大数据项目实战之在线教育(01
数仓
需求)
第1章数据仓库概念数据仓库是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。数据仓库是出于分析报告和决策支持目的而创建的,为需要业务智能的企业,提供指导业务流程改进、监控时间、成本、质量以及控制。第2章项目需求及架构设计2.1项目需求分析一、数据采集平台搭建二、实现数据仓库分层的搭建三、实现数据清洗、聚合、计算等操作四、统计各指标,如统计通过各地址跳转注册的用户人数、统计各平台的用户
okbin1991
·
2023-03-26 22:29
大数据
数据仓库
大数据之
数仓
一面内容以及感受
等我有空再来写吧1.项目2.hadoop搭建流程关闭虚拟机的防火墙安装jdk修改主机安装ssh,并配置免密登入修改hosts文件做时间同步上传hadoop包,解压配置环境变量配置core-site.xml,hdfs-stite.xml,yarn-site.xml,mapred-site.xml,hadoop-env.sh,slaves(workers)格式化3.mr的流程1.一个mr程序启动的时候
爱你魔力转圈圈
·
2023-03-26 22:59
面经
大数据
大数据教育平台
数仓
实时计算实现 附安装包与脚本
一、SparkStreamingSparkStreaming是核心SparkAPI的扩展,可实现实时数据的可扩展,高吞吐量,容错处理。数据可以从许多来源(如Kafka,Flume,Kinesis,或TCP套接字)中获取,并可以使用高级函数进行处理,处理完后的数据可以推送到文件系统,数据库和实时仪表板。在内部,他的工作原理如下,SparkStreaming接收实时输入数据流并将数据分成批处理,然后由
wespten
·
2023-03-26 22:58
Hadoop
Hive
Spark
大数据安全
大数据
spark
分布式
大数据项目实战之在线教育(02
数仓
实现)
第1章
数仓
分层概念1.1为什么要分层1.2
数仓
命名规范ODS层命名为odsDWD层命名为dwdDWS层命名为dwsADS层命名为ads临时表数据库命名为xxx_tmp备份数据数据库命名为xxx_bak详见
okbin1991
·
2023-03-26 22:58
大数据
hive
hadoop
数据仓库
分布式
尚硅谷大数据项目之Flink实时
数仓
-踩坑记录和笔记记录
logback.xml不生效问题2.判断新老用户的时候,什么时候会出问题:3.为什么维度数据选择存储在Hbase中,而不是Redis,Mysql中4.启动phoenix卡住不动了6.java找不到符号7.为什么实时
数仓
中没有
在学习的王哈哈
·
2023-03-26 22:58
大数据项目
大数据
flink
java
大数据篇--
数仓
概念总结
怎样分层:a.ODS层:b.DW/CDM层:c.DM/ADS/APP层:d.维表层/公共维度层(Dimension):3.举个例子:三、元数据四、数据模型1.什么是数据建模:2.为什么需要数据建模:3.
数仓
建模阶段划分
小强签名设计
·
2023-03-26 22:28
大数据面试
大数据Kettle
数仓
工具快速入门
目录前言一、官方介绍二、个人总结三、工具安装1.1下载方式1.2安装注意事项四、命令介绍2.1Spoon命令2.2Pan命令2.3Kitchen命令2.4Carte命令五、模块介绍3.1转换模块(Trans)3.2作业模块(Jobs)六、实战操作4.1Excel导入数据到数据库4.2通过kettle解压文件七、结束语前言在阅读该文档之前,我需要说明下,这个技术文档整理了我目前经历过的一些问题和踩过
2021重返程序道路
·
2023-03-26 22:27
KETTLE系列
数据仓库
大数据
etl
大数据项目之
数仓
相关知识
DW的输入数据通常包括:业务数据,用户行为数据和爬虫数据等ODS:数据备份DWD:数据清洗DWS:预先聚合ADS:统计数据何为
数仓
DWDatawarehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下
DB架构
·
2023-03-26 22:57
数据仓库
大数据
数据仓库
数据挖掘
大数据基础知识——
数仓
的搭建(维度建模)
OLTP和OLAP区别:数据仓库的特点:面向主题:数据集成:非易失:时变:数据仓库系统架构系统结构图源数据ETL数据仓库与数据集市应用系统用户层纬度分析:维度分析介绍指标和纬度识别维度案例维度分层与分级
数仓
中的名词解释
数仓
名词之间关系实体表
我菜的要死
·
2023-03-26 22:57
大数据
数据仓库
企业是如何选择技术栈来做离线
数仓
前言最近在跟一位粉丝聊天,聊起来了做离线
数仓
时该用那些技术栈。于是根据我的经验和参考一些资料于就有本篇文章。在这里我会分享三个案例,仅供参考。
大数据老哥
·
2023-03-25 15:57
搭了数据中台怎么用?AI+BI 让数据产生价值
作者简介:王春波,著有《高效使用Greenplum:入门、进阶和数据中台》,“数据中台研习社”号主,十年数据开发从业者,资深零售
数仓
项目实施专家。
蚂蚁_8173
·
2023-03-25 11:08
数仓
建设规范
本文将全面讲解
数仓
建设规范,从数据模型规范,到
数仓
公共规范,
数仓
各层规范,最后到
数仓
命名规范,包括表命名,指标字段命名规范等!
程序员的隐秘角落
·
2023-03-25 08:12
数仓
理论及建模方法
1.
数仓
概述数据仓库:数据仓库是一个面向主题的、集成的、非易失的、随时间变化的数据集合。
JOEL-T99
·
2023-03-23 19:22
BigData
数据仓库
数据库
big
data
《大数据湖最佳实践》读书笔记
本书论述了数据湖基础知识,如基本架构、与
数仓
的对比、数据存储、元数据处理、数据访问控制等,读完能够让你对数据湖技术有一个概述性的认知。
尘客.
·
2023-03-23 18:07
Bigdata
数据湖
实时数据仓库的发展、架构和趋势
当前基于Hive的离线数据仓库已经非常成熟,数据中台体系也基本上是围绕离线
数仓
进行建设。
TASKCTL
·
2023-03-23 17:33
建模笔记(一)
如日期,在
数仓
模型内部会存在一个日期
一个神经质的工程师
·
2023-03-23 00:24
聊聊日志硬扫描,阿里 Log Scan 的设计与实践
从时效性角度看日志计算引擎:
数仓
覆盖T+1日志处理,准实时系统(搜索引擎、OLAP)瞄准交互式场景,实时需求则加速了Flink等流引擎的发展。再回到用户场景角度,各
阿里云技术
·
2023-03-22 11:59
搜索引擎
大数据
elasticsearch
阿里云
云计算
数据治理要点
数据治理-ods我一直在做的都是离线
数仓
,整个的大体框架
啊帅和和。
·
2023-03-22 11:17
大数据专栏。
数据库
大数据
sql
flink实时
数仓
目录电商常识实时
数仓
架构对所用到的表进行解析完成数据源和数据采集完成ODS层完成DIM层分析表结构使用代码导入数据并checkpoint将相同部分的代码进行封装完成DWD层完成ADS层电商常识由于这个项目是基于电商数据所完成的项目
啊帅和和。
·
2023-03-22 11:46
实时数仓专栏。
flink专栏。
大数据专栏。
spark
大数据
big
data
我说MySQL每张表最好不超过2000万数据,面试官让我回去等通知?
朋友:我在实习期间做了一个存储用户操作记录的功能,主要是从MQ获取上游服务发送过来的用户操作信息,然后把这些信息存到MySQL里面,提供给
数仓
的同事使用。
关注我学java
·
2023-03-21 19:18
Mysql
程序员
mysql
java
数据库
2020年12月30日阶段总结
Spark和离线
数仓
学得很烂。要回头补。SQL能力也不行,要加强
Jason__Kwok
·
2023-03-21 18:56
【
数仓
】什么是
数仓
,什么是OLTP,什么是OLAP
一、
数仓
是什么,为什么需要
数仓
个人理解,
数仓
和数据库都是组织数据的方法论,
数仓
和数据库(关系型数据库)处理的问题不同,所以当面对数据库不那么适合处理的问题时,就出现了
数仓
。
刘婉晴
·
2023-03-21 14:33
大数据
神奇的SQL---天财商龙
天财商龙到底是一个什么公司有些事情真是活久见,做了技术10年+,在今年对接天财商龙,由于需要建立
数仓
,问他们要了一些他们目前展示报表的查询sql,我贴出来,大家可能都会觉得简直是神奇了,我看完直接语无伦次了
倪宝华
·
2023-03-21 08:40
数据仓库理论第一炮
作为
数仓
的工作者,长时间的与数据打交道,一股作气写sql。
孤城心
·
2023-03-21 08:36
设备联网工作建设方法和步骤
1、前言原计划在“制造业数字原生的OT
数仓
建设”一文完成后,把关于如何开展设备连接的工作快速整理出来,因为各种原因没有沉下心来准备和完成,这里仅把之前列的大纲补充说明,供参考。
PascalMing
·
2023-03-21 00:19
IoT
物联网
iot
设备联网
TDengine不同数据模型下的存储对比验证
1、概念与数据模型在制造业数字原生的OT
数仓
建设的补充章节,提到一个多值的模型,即把IoT数据归集为int,float,bool,string,由4个超级表分开存改为1个超级表统一存。
PascalMing
·
2023-03-21 00:19
IoT
物联网
iot
时序数据库
制造业数字原生的OT
数仓
建设
关键词:OT
数仓
工业物联网智能工厂时序库数据采集数字化转型IT/OT融合从技术演化的视角来看,工业互联网发展的核心在于OT技术(控制技术)与IT技术(信息技术)的融合。
PascalMing
·
2023-03-21 00:19
IoT
物联网
数据建模
云原生
tdengine
kafka
坐上JDK8时间SDK的小船,带你遨游UNIX时间戳与时区的小太空~·
由于店铺可以自主选择店铺所在时区(全球二十四个时区),而
数仓
统计后落库的时间是GMT+8时区对应的UNIX时间戳。因此,在我们调用中台的接口时,不能直接取服务器的UNIX时间戳作为传参。
明月清风_0cd3
·
2023-03-20 21:29
从产品的角度看
数仓
背景:因为业务报表需求,需要高精准性,但是公司此前没有做数据产品,所有的数据报表都是从由业务系统直接去抽取。但我们做的是医院的业务系统,一个大三甲的医院三个月就有60多万条数据,导致精准度非常差,数据混乱,脏数据太多,没有办法只能下苦力来做个简单的数据产品做支撑了。技术的角度:很热的词:用Hadoop做底层,MapReduce来做存储,还有一些很技术的词数据抽取工具:kafka、flume、syn
泛舟垂钓
·
2023-03-20 11:21
上一页
31
32
33
34
35
36
37
38
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他