E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据湖数据仓库
数据湖
:概念、特征和应用实例
spm=smpc.null.fd-news.14.1591168052546p2dxjaq“
数据湖
”:概念、特征、架构与案例(1、什么是
数据湖
;2、
数据湖
的基本特征;3、
数据湖
基本架构;4、各厂商的
数据湖
解决方案
Leo笑
·
2023-11-11 05:02
数字政府
卫生信息系统
技术人生
数据湖
数据仓库
政务信息化
医院信息化
数据仓库
-业务数据采集(基于物流数仓)
0、物流数仓架构这里的数据采集的架构就是:在业务数据进入MySQL之后,部分表通过DataX全量同步到HDFS,部分表通过Flink-CDC的增量同步方式同步到Kafka,再通过Flume将数据从Kafka同步到HDFS;这两部分在HDFS的数据用于后续的数仓搭建。数据采集用到的组件:MySQL+DataX+Hadoop+Flink+Kafka+Zookeeper+Flume1、业务数据同步概述1
小鱼干换酒钱
·
2023-11-11 01:40
#
物流数仓
mysql
hadoop
flume
flink
数据仓库
数据仓库
数据同步策略
1.实时数仓同步数据实时数仓数据由Flink源源不断从Kafka当中读数据计算,无需手动同步数据到实时数仓。2.离线数仓同步数据2.1用户行为数据同步2.1.1数据通道用户行为数据由Flume从Kafka直接同步到HDFS,由于离线数仓采用Hive的分区表按天统计,所以目标路径要包含一层日期。具体数据流向如下图所示2.1.2日志消费Flume配置概述按照规划,该Flume需将Kafka中topic
DB架构
·
2023-11-11 01:09
数据仓库
数据仓库
大数据
flume
hadoop
maxwell
Hive
数据仓库
知识点总结
文章目录
数据仓库
概念主要特征数仓和数据库的区别数仓的分层ETL概念Hive框架介绍和安装Hive的概述Hive的特点Hive的架构Hive的交互方式Hive的基础操作Hive的数据库操作Hive的表操作
shmily_lee
·
2023-11-11 01:39
hive
数据仓库
hadoop
大数据
2023.11.10 hadoop,hive框架概念,基础组件
MapReduce,Yarn1.hdfs分布式文件存储系统HadoopDistributedFileSystem2.MapReduce分布式计算框架3.Yarn资源调度管理框架三个组件的依赖关系是:hive
数据仓库
处理工具
白白的wj
·
2023-11-11 01:08
hadoop
hive
大数据
Hive-入门学习之 hive 简介和安装 (1)
1Hive简介1.1hive是什么是由Facebook开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析).是基于hadoop的一个
数据仓库
工具(服务性的软件),可以将结构化的数据文件映射为一张表
算啦粉
·
2023-11-11 01:37
Hive
hive
数据库
分布式
大数据
hadoop
2023.11-9 hive
数据仓库
,概念,架构
目录一.HDFS、HBase、Hive的区别二.大数据相关软件三.Hive的优缺点1)优点2)缺点四.Hive和数据库比较1)查询语言2)数据更新3)执行延迟4)数据规模五.hive架构流程六.MetaStore元数据管理三种模式一.HDFS、HBase、Hive的区别1、HDFS(分布式文件系统):是Hadoop两大核心组成部分之一,提供在廉价服务器集群中进行大规模分布式文件存储的能力。具有很好
白白的wj
·
2023-11-11 01:36
数据仓库
hive
hadoop
DevChat助手:在数据库及数据分析上面的应用实践
本文已收录于PHP专栏:数据库与
数据仓库
欢迎点赞✍评论⭐收藏文章目录一、关于Devchat1.1DevChat用来解决什么问题1.2DevChat的最大优势1.3开发者如何使用DevChat二、安装与配
黑夜开发者
·
2023-11-10 17:50
数据库与数据仓库
大模型
数据库
DevChat
数据分析
编程助手
大模型应用
平安人寿基于 Apache Doris 统一 OLAP 技术栈实践
自2022年起平安人寿开始引入开源实时
数据仓库
ApacheDoris并基于此统一OLAP技术栈,通过统一的数据开发与服务打破了原有系统的数据“孤岛”、降低了需求的开发成本、加速了业务需求的交付周期,并满足了业务方
SelectDB技术团队
·
2023-11-10 17:46
数据库
大数据
数据仓库
数据分析
apache
5 Paimon
数据湖
之表数据查询详解
更多Paimon
数据湖
内容请关注:https://edu.51cto.com/course/35051.html虽然前面我们已经讲过如何查询Paimon表中的数据了,但是有一些细节的东西还需要详细分析一下
大数据徐葳
·
2023-11-10 13:33
paimon
大数据
数据湖
paimon
查询系统表
批量读取
流式读取
时间旅行
4 Paimon
数据湖
之Hive Catalog的使用
更多Paimon
数据湖
内容请关注:https://edu.51cto.com/course/35051.htmlPaimon提供了两种类型的Catalog:FilesystemCatalog和HiveCatalog
大数据徐葳
·
2023-11-10 13:32
paimon
paimon
数据湖
hive
catalog
大数据
数据仓库
3 Paimon
数据湖
中的表类型详解
更多Paimon
数据湖
内容请关注:https://edu.51cto.com/course/35051.htmlPaimon中支持多种表类型,下面我们来看一下。
大数据徐葳
·
2023-11-10 13:32
paimon
大数据
flink
paimon
数据湖
数据仓库
6 Hive引擎集成Apache Paimon
更多Paimon
数据湖
内容请关注:https://edu.51cto.com/course/35051.html在实际工作中,我们通查会使用Flink计算引擎去读写Paimon,但是在批处理场景中,更多的是使用
大数据徐葳
·
2023-11-10 12:18
paimon
大数据
数据湖
paimon
数据仓库
治理效率提升77%!揭秘基于DataLeap实时健康分的最佳实践
更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群背景某企业实时数仓团队通过数据收集、整合、计算和存储构建实时
数据仓库
,为企业提供快速、准确、可靠的实时数据分析和决策支持
字节数据平台
·
2023-11-10 11:50
大数据
数据库
数据安全
数据治理
数据研发
直播实时数仓基于DataLeap开放平台在发布管控场景的业务实践
原有离线批处理的
数据仓库
已经无法满足诉求,因此需要打造一套同时具备高时效性和高稳定性的计算能力快速完成对数据的处理,即实时数仓。团队介绍直播实时数仓团队隶属于Data-数据平台部门,负责为直播中台业
字节数据平台
·
2023-11-10 11:14
大数据
数据库
数据安全
数据中台
数据研发
如何将SAP数据集成到任意云平台
五年前,变成了
数据湖
和机器学习。现在一切都是关于数据集成,当然还有人工智能。有时处理数据的基本方法已经改变或者发展。有时只是名字的改变。
snpgroupcn
·
2023-11-10 08:49
数据库
数据仓库
大数据
数据湖
浅析(以hudi为例)
数据湖
定义业界对于
数据湖
的定义存在一定争议,个人认为
数据湖
就是针对传统hive数仓不支持acid、upsert、schemaevolution等痛点上,提出的一种数据存储库。
weixin_45626756
·
2023-11-10 06:44
hive
大数据
hadoop
数据湖
hudi
【Azure Data Platform】数据平台的选择
【AzureDataPlatform】DedicatedSQLPool——导入性能测试(4)——总结本文谈一下数据平台的选择前言云计算已经被广泛接受和使用,那么在关于数据平台方面,很多人会关心数据库,
数据仓库
發糞塗牆
·
2023-11-09 23:59
Azure
azure
Data
Platform
流式
数据湖
Hudi核心概念四:文件布局
1.Hudi表文件存储结构Hudi将一个表映射为如下文件结构Hudi存储分为两个部分:元数据和数据2.元数据存储元数据:.hoodie目录对应着表的元数据信息,包括表的版本管理(Timeline
shangjg3
·
2023-11-09 14:57
数据湖
大数据
数据仓库
3. 详解低门槛搭建个人量化平台- 实时数据
因此数据的实时性、准确性和易用性是量化平台的根本,量化平台,必须建立自己独立、安全、快速、可靠的、包含实时/历史行情数据的
数据仓库
,并进行行情数据的管理,包括历史tick数据,实时/历
阿岛格
·
2023-11-09 12:32
python
实时行情数据
金融
量化交易
量化平台
在window10上安装apache-hive-3.1.3
一、hive介绍hive是什么:hive是基于Hadoop的一个
数据仓库
工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
爱上雪茄
·
2023-11-09 09:22
大数据
JAVA知识
apache
hive
hadoop
1 快速了解Paimon
数据湖
核心原理及架构
目前业内主流的
数据湖
存储项目都是面向批处理场景设计的,在数据更新处理时效上无法满足流式
数据湖
的需求,因此Flink社区在2022年的时候内部孵化了FlinkTableStore(简称FTS)子项目,一个真正面向流以及实时的
数据湖
存储项目
大数据徐葳
·
2023-11-09 07:58
paimon
大数据
数据湖
paimon
数据仓库
如何从优化SQL入手提高
数据仓库
的ETL效率
1引言
数据仓库
建设中的ETL(Extract,Transform,Load)是数据抽取、转换和装载到模型的过程,整个过程基本是通过控制用SQL语句编写的存储过程和函数的方式来实现对数据的直接操作,SQL
码农中的战斗鸡
·
2023-11-09 05:22
ETL
ssis
sqlserver
SQL Server数据库及SSIS优化攻略
SSIS是MicrosoftSQLServerIntegrationServices的简称,是生成高性能数据集成解决方案(包括
数据仓库
的提取、转换和加载(ETL)包)的平台。
chuyang2652
·
2023-11-09 05:46
数据库
数据仓库
工具箱The Data Warehouse Toolkit 阅读笔记 (三:零售业务)
第三章目录前言一、维度模型构建的4个步骤1.选择业务过程2.声明粒度3.确定维度4.确定事实二、维度表设计细节1.日期维度2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。一、维度模型构建的4个步骤强烈抵制仅仅考虑数据来源来建模数据。讲注意力放在数据上可能不会像雨商业用
Dear Slim.
·
2023-11-09 04:50
数据仓库/BI
数据建模
《
数据仓库
工具箱》- 第三章零售业务中的知识点汇总
维度模型设计的4步过程1.选择业务过程业务过程通常用行为动词标示由某个操作型系统支撑,如订单和购买系统业务过程建立获取关键性能度量业务过程通常由输入激活,产生输出度量应该将注意力放在业务过程,而不是放在功能化的部门,可以更方便的获得一致的企业信息2.声明粒度粒度代表事实表中的每一行代表什么3.确定维度维度定义的是谁,什么时候,在哪的问题,作为聚合查询中的查询条件,分组条件,排序条件4.确定事实事实
weixin_34409741
·
2023-11-09 04:50
人工智能
数据库
后端
《
数据仓库
ETL工具箱》读书笔记
在本书中,你将学习到以下内容:规划&设计你的ETL系统从多种可能的架构中选出最合适的对实施过程进行管理管理日常的操作为ETL过程建立开发/测试/生产环境理解不同的后台数据结构,包括平面文件、规范化框架、XML框架和星型连接(维度)框架分析和抽取源数据创建完整的数据清洗子系统将数据结构化为维度框架,以便更有效提交给最终用户、商务智能工具、数据挖掘工具、OLAP立方体和分析应用系统
weixin_30535565
·
2023-11-09 04:20
数据结构与算法
数据库
运维
大数据从业者必读书籍《
数据仓库
工具箱》-第三章笔记
背景行业:零售行业详细信息:由100个分布在5个州的分店组成,每个商店都有完整的部门。包括杂货、冷冻食品、日常生活用品、肉类、农产品、烘烤食品、花卉、保健/美容产品等。每个商品包含被称为产品统一编号(SKU)的60000种不同的上架产品管理重点:对订单、库存、销售产品的组织工作目的:实现利润最大化,利润最终来源于赚取每种商品尽可能多的差价,降低获得产品的开销,提供具有较强竞争力的环境以吸引更多的顾
寒 暄
·
2023-11-09 04:49
☺技巧
大数据
数据仓库
数据仓库
工具箱 第10节 金融服务
文章目录
数据仓库
工具箱第10节金融服务银行案列研究与总线矩阵对维度进行分类以避免维度太少的陷阱家庭维度多值维度与权重因子报表的动态范围值实时
数据仓库
工具箱第10节金融服务金融服务涉及各行业,如信用卡公司
CODE20220318
·
2023-11-09 04:19
HADOOP
数据仓库
数据仓库
工具箱-学习笔记7-使用一致性维度
2.4使用一致性维度维度建模目的:集成来自不同商业过程的数据,且定义了简单而强大的解决方案。一、一致性维度不同的维度表的属性具有相同的列名和领域内容时,称维度表具有一致性。有利于事实表的重用,减少开发开销和重新创表、数据对不齐的开发症结。二、缩减维度在特定的需求下,我们需要进行缩减维度,由基本列or行的子集构成。例如按月和品牌进行预测报表,我们不需要将销售相关的终极原子的数据拉出来,只需要使用聚合
hxhh
·
2023-11-09 04:19
数据仓库
数据仓库
《
数据仓库
工具箱》-sql2005 定义业务需求
商业智能价值:输送业务价值1、获得赞助商关系2、定义企业级业务需求(1)建立初始化项目作用域(2)收集和归档企业级业务需求引导采访、提取分析主题、标识支持业务、业务过程放入初始化矩阵(3)区分优先级过程(4)项目规划(5)收集项目需求3、零售行业分析(1)了解公司背景策略文档、年度报表、市场计划、竞争分析、来自高层管理的年度现场基本业务信息:销售产品、产品销售地点及渠道(2)采访规划分清采访对象、
congtu3206
·
2023-11-09 04:48
数据仓库
工具箱-零售业务
文章目录一、维度模型设计的4步过程1.1第一步:选择业务过程1.2第二步:声明粒度1.3第三步:确定维度1.4第四步:确定事实二、零售业务案例研究2.1第一步:选择业务过程2.2第二步:声明粒度2.3第三步:确定维度2.4第四步:确定事实三、维度表设计细节3.1日期维度3.2产品维度3.3商店维度3.4促销维度3.5其他零售业维度3.6事务号码的退化维度四、实际的销售模式(星型模型)五、零售模式的
m0_46218511
·
2023-11-09 03:16
数据仓库
数据仓库
零售
数仓经典面试题
1.什么是
数据仓库
?请谈谈你对
数据仓库
的理解。
Young_IT
·
2023-11-09 03:04
大数据开发
1024程序员节
数据仓库
etl
大数据
数仓面经大框架
Hadoop:HDFS(重点),MapReduce(重点),YarnSparkHive从功能,原理,组成,运行流程调优(重点),Hive调优(参数、sql),Spark调优(资源、开发算子、数据倾斜、参数)3.
数据仓库
Young_IT
·
2023-11-09 02:03
大数据开发
大数据
数据仓库
数据分析
mysql
数据仓库
搭建_搭建
数据仓库
的流程简介
如何搭建一个
数据仓库
?下面大体说明了搭建的流程。
数据仓库
的结构用一幅图来表示:
数据仓库
的好处
数据仓库
是一套体系。
诗语情柔
·
2023-11-09 01:08
mysql数据仓库搭建
mysql
数据仓库
指南
出处:http://blog.chinaunix.net/uid-43642-id-2124570.html把前面的补上,脑子不好使了前言欢迎使用mysql多维
数据仓库
指南。
青云小凡
·
2023-11-09 01:34
mysql
mysql多维数据仓库
mysql
数据仓库
Databend + lakeFS:将数据版本控制嵌入你的分析工作流
ChojanShang)·GitHub云计算为以数据为中心的应用提供了廉价、弹性、共享的存储服务,这为现代数据处理工作流提供了显而易见的好处:海量数据、高并发访问、大吞吐量,越来越多的案例开始将旧有的技术栈向
数据湖
架构进行迁移
Databend
·
2023-11-08 20:08
数据库
阿里云认证 | 2023年ACP认证考试大揭秘
它涵盖了大数据计算服务、大数据开发与治理平台、实时计算、实时
数据仓库
、检索分析服务、
数据湖
、大数据分析与可视化等多个方面的内容。
HCIE考证研究所
·
2023-11-08 16:24
网络工程师
运维
华为认证
网络
服务器
阿里云
ACP
校园招聘管理系统的设计与实现毕业设计源码161815
摘要由于数据库和
数据仓库
技术的快速发展,校园招聘信息系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
yuyuxun1
·
2023-11-08 10:45
java
spring
boot
idea
php
vue.js
springboot+校园招聘管理 毕业设计-附源码161815
校园招聘管理系统的设计与实现摘要由于数据库和
数据仓库
技术的快速发展,校园招聘信息系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
weixin_61498557
·
2023-11-08 10:45
spring
boot
java
idea
spring
jvm
数据仓库
认识
1、通用数据仓分层设计,主要分成五层:1、基础数据层(ODS):将数据采集过来最先存放的地方,一般和最原始的数据会保持一致ETL:萃取(Extract)、转置(Transform)及加载(Load)主要的作用是:保持数据的原样,压缩采用LZO,压缩比是100:10左右、创建分区表2、明细数据层(DWD):主要是做数据清洗、过滤、对一些敏感的数据例如手机号,省份证进行脱敏、对业务传输过过来的数据进行
新手小农
·
2023-11-08 09:53
数据仓库
数据仓库
Python量化
数据仓库
搭建3:数据落库代码封装
Python量化
数据仓库
搭建3:数据落库代码封装本系列教程为量化开发者,提供本地量化金融
数据仓库
的搭建教程与全套源代码。我们以恒有数(UDATA)金融数据社区为数据源,将金融基础数据落到本地数据库。
恒生LIGHT云社区
·
2023-11-08 08:07
金融
技术
金融科技
python
数据仓库
开发语言
Python量化
数据仓库
搭建系列3:数据落库代码封装
Python量化
数据仓库
搭建系列3:数据落库代码封装本系列教程为量化开发者,提供本地量化金融
数据仓库
的搭建教程与全套源代码。
算法爱好者。
·
2023-11-08 08:37
量化投资
python
数据仓库
开发语言
基于亚马逊云科技Serverless架构的实时数仓架构
要实现数据价值,建设
数据仓库
是在数字化转型过程中不得不面对的一项任务。
数据仓库
汇聚各个业务部门数据,避免数据孤岛,使
Discovering_
·
2023-11-08 05:50
科技
serverless
架构
Hudi学习3:
数据湖
主流架构
deltaLakeIcebergiceberg表可以扩展Hudi支持flink,并且支持快速upsert/delete
hzp666
·
2023-11-08 04:40
Hudi
hudi
数据湖
达梦DMETL快速入门
DMETL创新的将传统ETL工具与分布式大数据处理平台相结合,实现对数据同步、数据处理以及数据共享交换的一站式服务,适合数据中心、
数据仓库
和
数据湖
的建设与运维等应用场景。
lushanglou
·
2023-11-08 03:12
DMETL4简介及安装配置指导
:DMETL(目前的版本是4.0)是达梦数据库有限公司在上十年数据处理经验的基础上,研制开发的具有自主版权的、商品化的数据集成软件,实现了对数据抽取、传输、整合、以及装载的一站式支持,是构建数据中心、
数据仓库
DM fans
·
2023-11-08 03:41
etl
Apache Doris 是什么
ApacheDoris是一个开源的、基于MPP(MassivelyParallelProcessing)架构的SQL
数据仓库
。它旨在提供高性能、高可靠性的数据分析服务,特别适合处理大规模数据集。
舒一笑
·
2023-11-07 18:14
一笑的代码架构道途
apache
Apache
Doris
【hcie-cloud】【2】华为云Stack解决方案介绍、缩略语整理 【下】
文章目录华为文档获取方式、云计算发展背景、坚实基座华为云Stack,政企只能升级首选智能
数据湖
仓一体,让业务洞见更准,价值兑现更快MRS:一个架构可构建三种
数据湖
,业务场景更丰富离线
数据湖
:提供云原生、
҉人间无事人
·
2023-11-07 08:55
HCIA(P
E)-cloud笔记
华为云
Haddop,HDFS和MapDeduce简单理论
搭建大型
数据仓库
,PB级数据的存储,处理,分析,统计等业务。优势:高扩展,低成本,成熟的生态圈。hive:将sql语句转成hadoop任务去执行,降低hadoop的门槛
杰KaMi
·
2023-11-07 06:25
linux
hadoop
大数据
上一页
14
15
16
17
18
19
20
21
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他