数据湖数据仓库

数据分析思维学习1：业务指标、数据获取、数据仓库、数据治理、数据分析方法

数据分析入门实战最近上了一个关于数据分析思维的网课，内容比较偏业务上的实际应用，关注点更多在于数据思维。以下是我在学习过程中的笔记整理。文章目录数据分析入门实战第一章数据分析与数据分析师数据分析思维是什么第二章业务指标与指标体系2.1什么是指标，如何找到正确的指标1.什么是指标，什么是维度2.好的指标3.快的指标2.2北极星指标及其重要性1.什么是北极星指标？2.北极星指标有什么用？3.如何选择北
真是喵啊·2023-09-23 13:34

数据仓库模型全景

数据仓库模型构建一、数据仓库构建需要考虑的问题与数据库的单表基于ER模型构建思路不同，其面向特定业务分析的特性，决定了它的构建需要整合多套数据输入系统，并输出多业务条线的、集成的数据服务能力，需要考虑更全面的因素
公众号:肉眼品世界·2023-09-23 13:33

实时数仓新选择——Doris构建实时数仓落地方案详解

一、实时数据仓库概述**首先，**我们从数据仓库说起。数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员提出了商业数据仓库的概念。
胖胖胖胖胖虎·2023-09-23 13:32

大数据项目实战之数据仓库：电商数据仓库系统——第10章 数仓开发之DWS层

文章目录第10章数仓开发之DWS层10.1最近1日汇总表10.1.1交易域用户商品粒度订单最近1日汇总表10.1.2交易域用户商品粒度退单最近1日汇总表10.1.3交易域用户粒度订单最近1日汇总表10.1.4交易域用户粒度加购最近1日汇总表10.1.5交易域用户粒度支付最近1日汇总表10.1.6交易域省份粒度订单最近1日汇总表10.1.7交易域用户粒度退单最近1日汇总表10.1.8流量域会话粒度页
yiluohan0307·2023-09-23 13:29

华为云 FusionInsight 大数据技术普惠创新，释放千行百业数据价值

主题，从金融、运营商等行业在大数据创新的实践，顶级高校的大数据顶尖人才培养和科学研究，以及华为云FusionInsight智能数据湖系列大数据产品的技术创新等方面，以产学研深度融合的方式展开分享和探讨。
数据湖洞见·2023-09-23 10:37

同一份数据全域共享，HashData UnionStore实时性背后的故事

云数仓的出现，不仅改变了传统数据仓库的服务模式，更给用户带来了应对海量、新型数据的存储和处理能力，为满足业务现代化需求提供了基础。
HashData酷克数据·2023-09-23 09:59

数据仓库&数据库

数据仓库和数据库是两个重要的数据存储和管理工具，它们有着不同的特点和用途。一、数据仓库与数据库的定义1.数据仓库数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
Elseide艾思·2023-09-23 08:26

hive mysql初始_hive mysql 初始化

Hive简介Hive是一个基于hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。
戴舜·2023-09-23 04:14

使用 Databend 加速 Hive 查询

许多企业的数仓/数据湖中都有PB级的数据，其中绝大多数都属于旧有系统中的
Databend·2023-09-23 03:27

pg数据表同步到hive表数据压缩总结

为了解决pg的压力，尝试采用hive数据仓库存数，利用hive支持的parquet列式存储，同时支持lzo、none、uncompressed、brotil、snappy和gzip的压缩算法，更节省空间
zcc_0015·2023-09-23 00:28

仔仔细细的给您讲，如何建立数据仓库

数据仓库的定位在整个数据价值生产链路中，数据仓库的主要作用就是中心化分发，将原始数据与数据价值挖掘活动隔离。所有的原始数据都会进入数据仓库，再由数据仓库统一分发给下游的数据使用者。
派可数据BI可视化·2023-09-22 20:06

干货：数据仓库基础知识（全）

1、什么是数据仓库？权威定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
派可数据BI可视化·2023-09-22 20:01

同一份数据全域共享，HashData UnionStore实时性背后的故事

云数仓的出现，不仅改变了传统数据仓库的服务模式，更给用户带来了应对海量、新型数据的存储和处理能力，为满足业务现代化需求提供了基础。
·2023-09-22 16:27

ByConity 技术详解之 ELT

谈到数据仓库，一定离不开使用Extract-Transform-Load(ETL)或Extract-Load-Transform(ELT)。将来源不同、格式各异的数据提取到数据仓库中，并进行处理加工。
·2023-09-22 16:27

ETL工具介绍

ETL是BI/DW（商务智能/数据仓库）的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。ETL包含了三方面，首先是“抽取
quanlin_kuccynl·2023-09-22 13:52

[转载]ETL 数据抽取、转换、加载_徐川江的博客_新浪博客

原文地址：ETL数据抽取、转换、加载作者：SAP_Jimmy数据仓库的一个重要功能就是对不同来源的数据进行归集和处理。不同类型的数据对象可以用来存储这些数据或者实现数据的联合视图。
徐川江的个人博客·2023-09-22 13:51

六、数据仓库详细介绍（ETL）工具篇上

对于相对简单的ETL系统我们可以完全依赖数据库或者内部开发一个小型的的流程控制、调度工具去实现，但是对于大多数的数据仓库项目，从数据源到最终数据应用，至少也有大几十上百甚至几百个ETL过程（节点），这些过程之间的依赖关系
Hanson,·2023-09-22 13:50

ETL工具点评

ETL所完成的工作主要包括三方面：首先，在数据仓库和业务系统之间搭建起一座桥梁，确保新的业务数据源源不断地进入数据仓库；其次，用户的分析和应用也能反映出最新的业务动态，虽然ETL在数据仓库架构的三部分中技术含量并不算高
赵一一·2023-09-22 13:20

干货丨常用的数据集成ETL工具有哪些？

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
传智播客·2023-09-22 13:19

推荐一款可以快速抽取sap数据的ETL工具

然而，使用SAPERP系统面临着一些数据分析不方便，数据导出困难等问题：数据集成困难：将SAP中的数据整合到其他系统或本地数据仓库通常是一项复杂的任务。
苛子·2023-09-22 13:46

BD就业复习第五天

回答：Hive是一个数据仓库工具，它建立在Hadoop之上，用于分析和查询大规模数据。Hive将SQL查询转化为MapReduce任务，但由于MapReduce的延迟，性能可
密斯特.张先生·2023-09-22 12:48

BD就业复习第三天

1.连续活跃区间表的实现思路实现连续活跃区间表是数据仓库中常见的需求，通常用于分析用户或实体在一段时间内的活跃情况。
密斯特.张先生·2023-09-22 11:42

MPPDB是什么？

个问题搞定大数据理论体系解答MPPDB是一款SharedNothing架构的分布式并行结构化数据库集群，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算平台，并广泛地用于支撑各类数据仓库系统
Shockang·2023-09-22 02:29

系统稳定性保障设计总结和思考

是选择Mysql这类OLTP数据库还是MPP型OLAP数据仓库。如何进行消息队列选型？是选择可靠性更强的RabbitMQ还是还是轻松吞吐百万流量的Kafka，这些都是需要根据具体的业务和场景来抉择的。
yangnk42·2023-09-22 00:00

NineData X SelectDB 联合发布会，即将上线！

本次发布会将聚焦于实时数据仓库技术和数据开发能力，展示SelectDB新一代实时数据仓库产品如何解决实时数据分析的行业痛点，以及「NineData如何提供高效、智能、安全的数据管理能力」。
·2023-09-21 21:31

Tapdata Connector 实用指南：云原生数仓场景之数据实时同步到 Databend

典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用ETL处理等。引用随着TapdataConnector的不断增长，我们最新推
·2023-09-21 14:28

ELT in ByteHouse 实践与展望

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群谈到数据仓库，一定离不开使用Extract-Transform-Load(ETL)或Extract-Load-Transform
·2023-09-21 12:18

ELT in ByteHouse 实践与展望

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群谈到数据仓库，一定离不开使用Extract-Transform-Load(ETL)或Extract-Load-Transform
·2023-09-21 12:46

活动报名 | Modern Data Stack Meetup 北京首站启动！与三大开源社区共同探索现代数据栈的最佳实践

现代数据堆栈的流行伴随着云计算和云数据仓库的崛起，本质上是各种软件工具的组合，用于在一个完全集成的基于云的数据平台上收集、处理和存储
·2023-09-21 12:42

Doris-05-集成Spark、Flink、Datax，以及数据湖分析(JDBC、ODBC、ES、Hive、多源数据目录Catalog)

Doris准备Spark环境使用SparkDorisConnectorFlinkDorisConnector准备Flink环境使用FlinkDorisConnectorDataXdoriswriter数据湖分析
迷雾总会解·2023-09-21 12:33

HIVE，SparkSql和Presto对比

HIVE，SparkSql和Presto对比HIVEhive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
loophome·2023-09-21 09:20

电商数仓学习笔记(一）

第一章数据仓库概念第二章项目需求及架构设计项目需求项目框架第三章数据生成模块目标数据数据埋点服务器和jdk准备编写集群分发脚本xsync模拟数据集群日志生成脚本第四章数据采集模块集群所有进程查看脚本Hadoop
芝士雪豹.·2023-09-21 06:01

数仓主题域和数据域、雪花模型，星型模型和星座模型

数据域和主题域都是数据仓库中的重要概念，但含义略有不同，常常作为面试官的面试考点。数据域指的是特定的业务领域或是业务过程，如销售、采购、人力资源管理、财务等。在数据仓库中。
Aimyon_36·2023-09-20 23:23

发挥现代数据栈MDS的更大价值

将碎片数据集成到集中式数据仓库依赖于ELT或ETL过程，为此您可能需要多个提供程序来连接所有源。以下步骤-存储，转换，可视化和分析-都涉及将数据重新
qq_38767591·2023-09-20 21:47

json函数 presto_Presto Functions

Presto被设计为数据仓库和数据分析产品：数据分析、大规模数据聚集和生成报表。这些工作经常通常被认为是线上分析处理操作。所以说，当公司业务有跨库分析时(一般情况是，业务数据库
weixin_39644146·2023-09-20 08:23

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:10

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:38

实时分析、融合统一及云原生，现代化数据仓库未来发展必经之路｜专访飞轮科技 CEO 马如悦

在国内拥有2500+中大型企业用户，用户社群聚集开发者超3万人，活跃贡献者数连续数月稳居全球大数据开源项目排行榜第一。毋庸置疑，ApacheDoris已成为全国数据库和大数据领域最为活跃的开源项目之一。ApacheDoris历经近十年的发展，为何还能持续保持竞争力和活力？其背后的核心推动力又是什么？在QCon全球软件开发大会·北京站的现场，基于ApacheDoris的商业化公司飞轮科技的CEO、A
SelectDB技术团队·2023-09-20 08:30

ETL数据加载性能优化

这些实践指南可以帮助您加快数据处理速度，提升数据仓库或数据湖的效率。随着数据量的不断增长，ETL过程中的数据加载性能成为企业面临的一个重要挑战。
ETLCloud数据集成社区·2023-09-20 08:11

大数据之数据湖---flink 整合hudi

1.hudi简介Huid支持流式的读写操作，流数据可以通过Huid的增量来进行数据追加，精准的保存Index位置，如果一旦写入或者读出的时候出现问题，可以进行索引回滚数据，因为在Hudi写入和写出的时候他是要记录元数据信息的。Hudi最大的特点就是会进行预写日志功能，也就是把所有的操作都先预写，然后一旦发生问题就会先找预写日志Log，进行回滚或者其他操作，所以你会发现在Hudi中，它会写很多Log
wudl·2023-09-20 07:06

【hudi】数据湖客户端运维工具Hudi-Cli实战

数据湖客户端运维工具Hudi-Cli实战helphudi:student_mysql_cdc_hudi_fl->helpAVAILABLECOMMANDSArchivedCommitsCommandtriggerarchival
lisacumt·2023-09-20 07:50

Clickhouse存算分离的思考

ExploringstorageandcomputingseparationforClickHouse-JuiceFSBlogClickHouse存算分离改造：小红书自研云原生数据仓库实践唯品会翻牌ClickHouse
ELI_He999·2023-09-20 06:02

Hadoop学习（8）-- Apache Hive入门

ApacheHive概述什么是HiveApacheHive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似
技术闲聊DD·2023-09-20 05:25

大数据 Hive 数据仓库介绍

目录一、数据仓库概念二、场景案例：数据仓库为何而来？2.1操作型记录的保存2.2分析型决策的制定2.3OLTP环境开展分析可行吗？
Stars.Sky·2023-09-20 05:24

【Hadoop】三、数据仓库基础与Apache Hive入门

文章目录三、数据仓库基础与ApacheHive入门1、数据仓库基本概念1.1、数据仓库概念1.2、场景案例：数据仓库为何而来1.3、数据仓库主要特征1.4、数据仓库主流开发语言--SQL2、ApacheHive
陌上人如玉এ·2023-09-20 05:22

数据仓库、Apache hive 入门

ApacheHive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言
互联网小白兔·2023-09-20 05:21

Apache Hive入门：模拟实现Hive功能、Hive架构、 组件

一、ApacheHive概述什么是HiveApacheHive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似
黑马程序员官方·2023-09-20 05:48

《数据挖掘概念与技术》——第四章 数据仓库与联机分析处理

一、基本概念1、宽泛概念：数据仓库是一种数据库，它与的那位的操作数据库分别维护。数据仓库系统允许将各种应用系统集成在一起，为同一的历史数据分析提供坚实的平台，对信息处理提供支持。
daxunjiu7613·2023-09-20 05:22
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他