E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
041-数据仓库
软考高级系统架构设计师系列之:论文典型试题写作要点和写作素材总结系列文章二
论基于DSSA的软件架构设计与应用1.论文题目2.写作要点和写作素材二、论信息系统建模方法1.论文题目2.写作要点和写作素材三、论高可靠性系统中软件容错技术的应用1.论文题目2.写作要点和写作素材四、论
数据仓库
的设计与实现
最笨的羊羊
·
2023-08-23 08:53
软考高级系统架构设计师考试
软考高级系统架构设计师系列
论文典型试题
写作要点和写作素材总结
解放数据库,实时数据同步利器:Alibaba Canal
文章首发地址Canal是一个开源的数据库增量订阅&消费组件,主要用于实时数据同步和数据订阅的场景,特别适用于构建分布式系统、
数据仓库
、缓存更新等应用。
Walter Sun
·
2023-08-23 05:21
数据库
Alibaba
Canal
Hive中explode和lateral view使用方法讲解
79459282explode与lateralview在关系型数据库中本身是不该出现的,因为他的出现本身就是在操作不满足第一范式的数据(每个属性都不可再分),本身已经违背了数据库的设计原理(不论是业务系统还是
数据仓库
系统
LannisterWF
·
2023-08-23 04:50
大数据学习的必备五大核心技术
基础技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、
数据仓库
、机器学习、并行计算、可视化等技术类别和不同的技术层次。
AydanLinux
·
2023-08-23 03:57
干货分享 | 4万字全面解读数据中台、
数据仓库
、数据湖(建议收藏)
随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关概念如雨后春笋一般应运而生,如从最初决策支持系统(DSS)到商业智能(BI)、
数据仓库
、数据湖、数据中台等,这些概念特别容易混淆,本文对这些名词术语及内涵
公众号:肉眼品世界
·
2023-08-23 01:34
数据仓库
lamp
scipy
zk
makefile
Hive常用的属性配置
Hive
数据仓库
位置配置默认位置/user/hive/warehouse若多
数据仓库
位置进行修改,则修改配置hive-site.xml文件,添加一些属性。
明明德撩码
·
2023-08-23 01:42
MySQL—数仓ETL开发中常用到的日期函数
在
数据仓库
ETL开发中,当以增量的方式进行数据同步时,会将数据表中的时间字段作为增量字段获取增量数据。对于MySQL数据库来说,总结了以下日期表示以及需要注意的问题。
一克拉的小蚂蚁
·
2023-08-22 23:16
MySQL
数据仓库
MySQL
数仓
ETL
数据库
市面上最好用的4款免费ETL工具推荐
一、ETL介绍ETL流程是
数据仓库
建设的核心环节,它涉及从各种数据源中抽取数据,经过清洗、转换和整合,最终加载到
数据仓库
中以供分析和决策。
苛子
·
2023-08-22 23:45
etl
数据仓库
Flink SQL (五) 连接到外部系统Hive
HiveApacheHive作为一个基于Hadoop的
数据仓库
基础框架,可以说已经成为了进行海量数据分析的核心组件。
ambitfly
·
2023-08-22 22:32
hive
flink
sql
PostgreSQL实战-10-性能优化
PostgreSQL数据库的SQL服务器应用通常分为OLTP
数据仓库
数据库性能分析【硬件】:最先到达瓶颈的,通常是磁盘IO1.建议使用固定存储SSD如目前使用广泛的SATASSD
longailk
·
2023-08-22 14:48
数据库
数据仓库
一分钟
数据分层一、数据运营层:ODS(OperationalDataStore)“面向主题的”数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的ETL之后,装入本层。本层的数据,总体上大多是按照源头业务系统的分类方式而分类的。一般来讲,为了考虑后续可能需要追溯数据问题,因此对于这一层就不建议做过多的数据清洗工作,原封不动地接入原始数据即可,至于数据
mengml_smile
·
2023-08-22 07:59
bigdata
数据仓库
大数据
Hive-架构、执行
Hive是基于hadoop的
数据仓库
工具,将结构化的数据映射为一张表,提供类sql的查询功能。本质--SQL解析,将HQL转为MapReduce执行过程。
风止_
·
2023-08-21 21:15
hive
架构
hadoop
2021-06-24
基础概念1.DB:DATABASE数据库,
数据仓库
2.DBMS:数据库管理系统(MySQL、Oracle等)3.SQL:结构化查询语言(通用性高)4.DBA:数据库管理员数据库的特点:数据-->表-->
AUTOBEAR
·
2023-08-21 18:32
腾讯云对象存储联合DataBend云数仓打通数据湖和
数据仓库
将
数据仓库
构建在数据湖上,打通
数据仓库
和数据湖两套体系,构
·
2023-08-21 15:18
算法
NineData x SelectDB 完成产品兼容互认证
近日,新一代实时
数据仓库
厂商SelectDB与云原生智能数据管理平台NineData完成产品兼容互认证。经过严格的联合测试,双方软件完全相互兼容、功能完善、整体运行稳定且性能表现优异。
·
2023-08-21 11:26
从Hadoop/Hive
数据仓库
导入数据到睿思BI系统
Hive是基于Hadoop的
数据仓库
工具,可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理,提供了类似于SQL语言的查询语言–HiveQL,可通过HQL语句实现简单的MR统计,Hive
睿思BI
·
2023-08-21 03:41
商业智能
FifthOne:用于矢量搜索的计算机视觉接口
数据湖和
数据仓库
;广阔的像素牧场和充满文字的海洋。找到正确的数据就像大海捞针一样!
无水先生
·
2023-08-20 14:32
数据挖掘和量化分析
计算机视觉
人工智能
大数据的产品与应用细分研究报告
一、大数据产品细分
数据仓库
与数据湖
数据仓库
是一种用于存储和管理结构化数据的系统,常用于支持企业的决策分析。数据湖则是一种存储各种类型和格式数据的系统,用于支持大数据的分析和挖掘。以下是一个数据仓
2301_78484069
·
2023-08-19 22:41
大数据
大数据
ClickHouse(2)- CK介绍与MergeTree引擎
其逻辑就是,基于页面的点击事件流,面向
数据仓库
进行OLAP分析,ck在研发之初就是应用与OLAP(OnLineAnalyticalProcessing,即联机分析处理)领域。
·
2023-08-19 13:11
clickhouse
数仓分层架构
1分层实现
数据仓库
一般分为三层,自上而下分别为数据贴源层(ODS,OperationDataStore)、数据公共层(CDM,CommonDataModel)和数据应用层(ADS,ApplicationDataService
三石先生已存在
·
2023-08-19 12:38
数仓
数据仓库
拉链表概述
介绍
数据仓库
中有一种数据存储模型,用于维护历史状态以及最新状态,反映某一Key的历史变化演进过程,该种模型叫做缓慢变化维,简称SCD(SlowlyChangingDimensions),通常所说的拉链表其实属于缓慢变化维的一种实现方式
跟着大数据和AI去旅行
·
2023-08-19 11:03
数据仓库
大数据企业级实战
大数据
数据仓库
拉链表
当大模型遇到
数据仓库
HashData助力LLM规模化应用
在会上,酷克数据首席科学家杨胜文发表了题为《当LLM遇到
数据仓库
》的主旨演讲,分享了对大模型热潮的观察和思考,并介绍了借助酷克数据研发的下一代高级分析和数据科学工具HashML,简化从数据处理、模型微调到知识增强的智能
HashData酷克数据
·
2023-08-19 09:52
数据仓库
数据库
人工智能
DTCC 2023即将启幕 明天见!
8月16日-18日,由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第14届中国数据库技术大会(DTCC2023)将在北京举行作为国内云原生
数据仓库
代表厂商,酷克数据受邀亮相DTCC2023
HashData酷克数据
·
2023-08-19 09:52
数据仓库
数据库
大数据
数据库变革:HashData云数仓实现事务级实时性
酷克数据资深解决方案架构师陈义贤在“数据库内核•技术创新”专场发表题为“分布式数仓的TP能力探索—HashDataUnionStore”的演讲,介绍HashData以Logisdatabase的思路在分布式
数据仓库
提升
HashData酷克数据
·
2023-08-19 08:21
数据库
大数据
云原生
《PostgreSQL 开发指南》第32篇 物化视图
物化视图通过提前运行并存储查询结果,通常用于查询优化、
数据仓库
不剪发的Tony老师
·
2023-08-19 08:31
PostgreSQL开发指南
postgresql
数据库
物化视图
数字化时代,
数据仓库
和商业智能BI系统演进的五个阶段
数字化在逐渐成熟的同时,社会上也对数字化的性质有了进一步认识。当下,数字化除了前边提到的将复杂的信息、知识转化为可以度量的数字、数据,在将其转化为二进制代码,引入计算机内部,建立数据模型,统一进行处理、分析、应用,还有了新的定义。当下数字化指的是通过人工智能、大数据、云计算、互联网、物联网等新一代信息技术,实现对个人、机构、企业等不同人员、群体的思想、战略、业务、技术、创新等各个层面的数字化改革,
派可数据BI可视化
·
2023-08-19 07:13
数据仓库
商业智能
数字化转型
数据仓库
信息可视化
数据分析
商业智能BI
大数据
数据的深海潜行:数据湖、
数据仓库
与数据湖库之间的微妙关系
导言:数据的重要性与存储挑战在这个信息爆炸的时代,数据已经成为企业的核心资产,而如何高效、安全、便捷地存储这些数据,更是每个组织面临的重大挑战。数据作为组织的核心资产数据在过去的几十年里从一个辅助工具演变成企业的核心。无论是做市场预测、用户行为分析还是产品创新,数据都扮演着不可或缺的角色。而在这个过程中,数据的质量、完整性和可用性直接影响到企业的决策质量和竞争力。大数据时代下的存储需求与挑战伴随技
乐思项目管理
·
2023-08-19 07:35
项目管理
工具
数据仓库
经验分享
笔记
数字化来了,该如何选择大数据存储?主流架构MPP与Hadoop的对比
目前主流的海量数据处理架构分为两种:1基于传统数据库及
数据仓库
所衍生出的MPP(MassivelyParallelProcessing)架构;2基于Hadoop并行计算框架的分布式架构。
少晗
·
2023-08-19 02:34
数据库
数据仓库
数据库变革:HashData云数仓实现事务级实时性
酷克数据资深解决方案架构师陈义贤在“数据库内核•技术创新”专场发表题为“分布式数仓的TP能力探索—HashDataUnionStore”的演讲,介绍HashData以Logisdatabase的思路在分布式
数据仓库
提升
·
2023-08-18 20:18
数据库postgresql
Hive底层数据存储格式
前言在大数据领域,Hive是一种常用的
数据仓库
工具,用于管理和处理大规模数据集。Hive底层支持多种数据存储格式,这些格式对于数据存储、查询性能和压缩效率等方面有不同的优缺点。
笑看风云路
·
2023-08-18 11:26
hive
hive
hadoop
数据仓库
存储格式
数据湖与
数据仓库
差异
数据湖是一个集中式存储库,允许您以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据(无需先对数据进行结构化处理),并运行不同类型的分析–从控制面板和可视化到大数据处理、实时分析和机器学习,以指导做出更好的决策。数据湖是一个存储企业的各种各样原始数据的大型仓库,其中的数据可供存取、处理、分析及传输。数据湖(DataLake)是一个以原始格式存储数据的存储库或系统。它按原样存储数据,而无需事
数据智能谷
·
2023-08-18 10:15
数据仓库
的两种建模方法(范式建模和维度建模)
数据仓库
的两种建模方法范式建模Inmon提出的集线器的自上而下(EDW-DM)的
数据仓库
架构。
Happybigman
·
2023-08-18 09:09
数据仓库
大数据
数据仓库
数学建模
hadoop
奥威BI数据可视化工具:360度呈现数据,告别枯燥表格
奥威BI数据可视化工具是一款基于
数据仓库
技术的数据分析工具,具有直观、灵活、可操作性强等特点。它能够帮助企业从多个角度、动态地分析业务数据,及时调整战略,提高决策效率。
qq_43696218
·
2023-08-18 09:33
信息可视化
数据分析
数据挖掘
大模型“搅局”,数据湖,
数据仓库
,湖仓选型会先淘汰谁?
事情总是这样:压力初露端倪,暗自考虑改变。压力高能爆表,立马做出改变。我们从一家叫做Databricks的美国知名公司聊起。这家Databricks公司很有创新基因。其创始人阿里·戈西(AliGhodsi)作为“2022年福布斯全球亿万富豪榜”排名第1645位的瑞典富豪,不缺钱,也舍得为公司花钱。他多次公开表示,不会考虑降低研发投入。此前(距大模型问世还有几年时间),Databricks就具备一种
亲爱的数据
·
2023-08-18 08:28
数据仓库
ODS->DWD->DWS->ADS
1.
数据仓库
DW1.1简介Datawarehouse(可简写为DW或者DWH)
数据仓库
,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它是一整套包括了etl、调度、建模在内的完整的理论体系
desmond_assis
·
2023-08-18 05:12
数据仓库
129页4万字某智慧能源集团数字化管理平台项目建议书WORD
目录数字化管控平台相关项目建议书目录:一、相关项目背景二、需求理解2.1需求理解三、方案设计3.1整体方案设计3.3.1整体架构3.3.2解决方案说明3.3.3需求应答3.2
数据仓库
3.2.1
数据仓库
架构
智慧城市2030
·
2023-08-17 23:33
数据库
第八章 维度设计之维度变化
这种方式直接覆盖原数据变化前变化后2)插入新维度行:可以保留历史数据,但不能将变化前后的事实数据归一化变化后3)添加维度列:添加一个新列表示当前类目变化后三种方式根据对历史数据的具体需求,选择相应的方法快照维表基于
数据仓库
的更新周期
被爱的天青色
·
2023-08-17 17:08
数据仓库
架构和建设方法论
1.
数据仓库
概要1.1.
数据仓库
起因在建设
数据仓库
之前,数据散落在企业各部门应用的数据存储中,它们之间有着复杂的业务连接关系,从整体上看就如一张巨大的蜘蛛网:结构上错综复杂,却又四通八达。
此木Y
·
2023-08-17 12:52
大数据
数据建模
数据仓库
数仓架构
数仓建模
大数据开发:数仓建模常见数据模型
在
数据仓库
搭建的过程当中,根据需求合理地选择数据模型,是非常关键的一个环节。对于数仓建模,很多人说不就是建表吗,哪有那么复杂,事实上,这是非常错误的思想。
加米谷大数据张老师
·
2023-08-17 12:22
大数据
数据仓库
大数据
数据建模
携程应用系统整体架构学习
5.hive只能说是一个
数据仓库
工具,反而归类到数据源层这样的架构水平,要么携程不想透露太多真实实力,要么就是携程派了一个大数据开发工程
warrah
·
2023-08-17 10:03
岁月云——Web系统最佳实践
应用系统架构
言简意赅,话说商业智能BI
商业智能BI的概念商业智能BI的定义其实很简单,简单概括一下就是,商业智能BI是一套完整的由
数据仓库
、查询报表、数据分析等组成的数据类技术解决方案,商业智能BI能够实现业务流程和业务数据的规范化、流程化
派可数据BI可视化
·
2023-08-17 09:21
商业智能
数据仓库
数字化转型
信息可视化
数据分析
大数据
商业智能BI
数据库
经验分享:企业
数据仓库
建设方案总结!
导读在企业的数字化转型浪潮中,数据被誉为“新时代的石油”,而
数据仓库
作为数据管理与分析的核心基础设施,在企业的信息化建设中扮演着重要的角色。
云长歌
·
2023-08-17 06:22
数据仓库
spark
大数据
数据分析岗笔面经及基础总结
每年都是最难申请季T^T前言基础知识总结数据结构二叉树脚本语言shellPython计算机网络TCP协议数据库索引数据库事务数据库设计范式大数据技术Hive
数据仓库
Hadoop数据挖掘技术机器学习算法和模型数据分析常见指标用户行为数据业务数据
GYHenryTT
·
2023-08-17 02:51
最难申请季
数据分析
算法
面试
大数据——Hadoop一文全知道
Hadoop一般用于搭建大型
数据仓库
和PB级数据的存储、处理、分析和统计等业务。2、Hadoop核心组件Ha
AIGC人工智残
·
2023-08-17 00:07
大数据
大数据
hadoop
分布式
大数据——Hive一文全知道
Hive是一款基于Hadoop的
数据仓库
工具,它将SQL语句转化为MapReduce任务运行,方便不熟悉MapReduce的用户也能够很好的利用HQL处理和计算HDFS上的数据。
AIGC人工智残
·
2023-08-17 00:06
大数据
大数据
hive
hadoop
计算机三级数据库复习12-
数据仓库
与数据挖掘
未来教育第十四章题目笔记_
数据仓库
与数据挖掘1、关联规则挖掘是发现交易数据库中不同商品之间的联系;无监督学习算法对类别并没有规定明确的前提条件。
TOPic666
·
2023-08-17 00:01
计算机三级数据库
mysql
sql
数据库
计算机三级
Amazon Redshift Serverless – 现已正式推出新功能
去年在re:Invent上,我们推出了AmazonRedshiftServerless的预览版,这是AmazonRedshift的无服务器选项,可让您分析任何规模的数据,而无需管理
数据仓库
基础设施。
·
2023-08-16 23:38
amazon
Doris Summit 2023 正式启航,议题征集 & 合作伙伴招募火热进行中
作为专注于实时分析的开源实时
数据仓库
ApacheDoris,从开源至今已走过6个年头,这些年里ApacheDoris一直稳步向前,并在这两年取得了令人瞩目的进展。
·
2023-08-16 16:09
数据库大数据处理apache
技术分享 | StoneData 的身份认证与访问控制策略:构建安全可靠的数据分析环境
作者:肖圣龙|StoneData技术架构师审核:王博引言:随着数据分析在企业和组织中的重要性不断增加,
数据仓库
成为处理大规模数据集和支持复杂分析的首选解决方案,如何保障数据安全由此成为了在数据分析过程中不可忽视的重要问题
·
2023-08-16 15:35
mysql数据库
技术分享 | StoneData 的身份认证与访问控制策略:构建安全可靠的数据分析环境
作者:肖圣龙|StoneData技术架构师审核:王博引言:随着数据分析在企业和组织中的重要性不断增加,
数据仓库
成为处理大规模数据集和支持复杂分析的首选解决方案,如何保障数据安全由此成为了在数据分析过程中不可忽视的重要问题
·
2023-08-16 15:24
mysql数据库
上一页
30
31
32
33
34
35
36
37
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他