etl+数据仓库

数仓命名规范

传统上，企业中数据仓库作为全企业数据汇聚的场所，不能直接保留原系统名称，需要进行规范命名，其命名规范也是数据标准的一部门。本文介绍的规范可供大家参考！
后季暖·2023-09-25 16:15

Hive中窗口函数的基本语法和示例

Hive是一个基于Hadoop的数据仓库解决方案，它允许你执行SQL查询和分析大规模数据集。Hive支持窗口函数，用于在查询中执行各种分析操作，例如排名、累积、分组和聚合，以及许多其他分析任务。
猫一样的女子245·2023-09-25 16:42

DataWorks 增强分析发布，一站式数据查询分析与可视化

在以往的数据分析工作流中，从数据仓库取数查询、到数据可视化、数据共享，往往要横跨多个产品，步骤繁琐，产
·2023-09-25 15:42

DataWorks 增强分析发布，一站式数据查询分析与可视化

在以往的数据分析工作流中，从数据仓库取数查询、到数据可视化、数据共享，往往要横跨多个产品，步骤繁琐，产
·2023-09-25 15:10

ELT in ByteHouse 实践与展望

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群谈到数据仓库，一定离不开使用Extract-Transform-Load(ETL)或Extract-Load-Transform
字节数据平台·2023-09-25 11:15

尚硅谷大数据项目《在线教育之实时数仓》笔记002

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第06章数据仓库环境准备P006P007P008P009P010P011P012P013P014第06章数据仓库环境准备P006P007P008http
upward337·2023-09-25 04:19

数据开发工程师-面试题

1、数据仓库的结构？数据仓库是一个用于存储、管理和分析大规模数据的集中式数据存储系统。它的结构通常包括以下主要组件和层次。
完美屁桃·2023-09-25 02:20

【软件设计师-从小白到大牛】上午题基础篇：第三章 数据库系统

五、规范化理论1、函数依赖2、价值与用途3、键4、范式5、模式分解六、并发控制真题链接分布式数据库特点（补充）真题链接七、完整性约束八、数据库安全真题链接九、数据备份十、数据库故障与恢复真题链接十一、数据仓库与数据挖掘十二
-dzk-·2023-09-24 23:44

火山引擎ByteHouse：一套方案，让OLAP引擎在精准投放场景更高效

精细化营销意味着要在数以亿计的人群中优选出那些最具潜力的目标受众，这无疑对提供基础引擎支持的数据仓库能力，提出了极大的技术挑战。
字节跳动技术团队·2023-09-24 14:20

广告案例｜10亿数据、查询<10s，论基于OLAP搭建广告系统的正确姿势

精细化营销意味着要在数以亿计的人群中优选出那些最具潜力的目标受众，这无疑对提供基础引擎支持的数据仓库能力，提出了极大的技术挑战。背景人群圈选分析是客户画像平台(CDP)中的核心功能。
字节跳动技术团队·2023-09-24 14:19

同程数科基于 Apache Doris 的数据仓库建设

同程数科基于ApacheDoris的数据仓库建设导读：同程数科成立于2015年，是同程集团旗下的旅游产业金融服务平台。
SelectDB技术团队·2023-09-24 10:10

数据仓库的概念、特点与组成

目录1概念2特点2.1面向主题2.2集成2.3相对稳定2.4反映历史变化3组成3.1数据仓库数据库3.2数据抽取工具3.3元数据3.4访问工具3.5数据集市（DataMart）3.6数据仓库管理3.7信息发布系统
hellosc01·2023-09-24 10:31

离线数据仓库

1数据仓库建模1.1建模工具  PowerDesigner/SQLYog/EZDML…1.2ODS层  （1）保持数据原貌不做任何修改，起到备份数据的作用。  
满床清梦覆星河·2023-09-24 10:30

数据中心与数据仓库发展趋势

一、数据中台与数据仓库的概念及作用数据中台是指将企业内外各种数据通过数据采集、数据处理、数据存储、数据分析、数据可视化等方式进行整合、处理和挖掘，为企业提供数据服务的一体化平台。
a谷雨c·2023-09-24 10:58

数据仓库整理

OLAP主要用于支持复杂的数据分析，如数据仓库、决策支持等，强调数据的维度、聚合和可视化。
haobu枳·2023-09-24 04:17

大数据的崭露头角：数据湖与数据仓库的融合之道

文章目录数据湖与数据仓库的基本概念数据湖（DataLake）数据仓库（DataWarehouse）数据湖和数据仓库的优势和劣势数据湖的优势数据湖的劣势数据仓库的优势数据仓库的劣势数据湖与数据仓库的融合之道
IT·陈寒·2023-09-24 04:31

数据仓库

数据库与数据仓库的本质区别是什么？:https://www.zhihu.com/question/20623931BI与数据仓库（DW）之间的关系是怎么样的？
shuff1e·2023-09-23 14:01

数据分析思维学习1：业务指标、数据获取、数据仓库、数据治理、数据分析方法

数据分析入门实战最近上了一个关于数据分析思维的网课，内容比较偏业务上的实际应用，关注点更多在于数据思维。以下是我在学习过程中的笔记整理。文章目录数据分析入门实战第一章数据分析与数据分析师数据分析思维是什么第二章业务指标与指标体系2.1什么是指标，如何找到正确的指标1.什么是指标，什么是维度2.好的指标3.快的指标2.2北极星指标及其重要性1.什么是北极星指标？2.北极星指标有什么用？3.如何选择北
真是喵啊·2023-09-23 13:34

数据仓库模型全景

数据仓库模型构建一、数据仓库构建需要考虑的问题与数据库的单表基于ER模型构建思路不同，其面向特定业务分析的特性，决定了它的构建需要整合多套数据输入系统，并输出多业务条线的、集成的数据服务能力，需要考虑更全面的因素
公众号:肉眼品世界·2023-09-23 13:33

实时数仓新选择——Doris构建实时数仓落地方案详解

一、实时数据仓库概述**首先，**我们从数据仓库说起。数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员提出了商业数据仓库的概念。
胖胖胖胖胖虎·2023-09-23 13:32

大数据项目实战之数据仓库：电商数据仓库系统——第10章 数仓开发之DWS层

文章目录第10章数仓开发之DWS层10.1最近1日汇总表10.1.1交易域用户商品粒度订单最近1日汇总表10.1.2交易域用户商品粒度退单最近1日汇总表10.1.3交易域用户粒度订单最近1日汇总表10.1.4交易域用户粒度加购最近1日汇总表10.1.5交易域用户粒度支付最近1日汇总表10.1.6交易域省份粒度订单最近1日汇总表10.1.7交易域用户粒度退单最近1日汇总表10.1.8流量域会话粒度页
yiluohan0307·2023-09-23 13:29

同一份数据全域共享，HashData UnionStore实时性背后的故事

云数仓的出现，不仅改变了传统数据仓库的服务模式，更给用户带来了应对海量、新型数据的存储和处理能力，为满足业务现代化需求提供了基础。
HashData酷克数据·2023-09-23 09:59

数据仓库&数据库

数据仓库和数据库是两个重要的数据存储和管理工具，它们有着不同的特点和用途。一、数据仓库与数据库的定义1.数据仓库数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
Elseide艾思·2023-09-23 08:26

hive mysql初始_hive mysql 初始化

Hive简介Hive是一个基于hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。
戴舜·2023-09-23 04:14

pg数据表同步到hive表数据压缩总结

为了解决pg的压力，尝试采用hive数据仓库存数，利用hive支持的parquet列式存储，同时支持lzo、none、uncompressed、brotil、snappy和gzip的压缩算法，更节省空间
zcc_0015·2023-09-23 00:28

仔仔细细的给您讲，如何建立数据仓库

数据仓库的定位在整个数据价值生产链路中，数据仓库的主要作用就是中心化分发，将原始数据与数据价值挖掘活动隔离。所有的原始数据都会进入数据仓库，再由数据仓库统一分发给下游的数据使用者。
派可数据BI可视化·2023-09-22 20:06

干货：数据仓库基础知识（全）

1、什么是数据仓库？权威定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
派可数据BI可视化·2023-09-22 20:01

同一份数据全域共享，HashData UnionStore实时性背后的故事

云数仓的出现，不仅改变了传统数据仓库的服务模式，更给用户带来了应对海量、新型数据的存储和处理能力，为满足业务现代化需求提供了基础。
·2023-09-22 16:27

ByConity 技术详解之 ELT

谈到数据仓库，一定离不开使用Extract-Transform-Load(ETL)或Extract-Load-Transform(ELT)。将来源不同、格式各异的数据提取到数据仓库中，并进行处理加工。
·2023-09-22 16:27

ETL工具介绍

ETL是BI/DW（商务智能/数据仓库）的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。ETL包含了三方面，首先是“抽取
quanlin_kuccynl·2023-09-22 13:52

[转载]ETL 数据抽取、转换、加载_徐川江的博客_新浪博客

原文地址：ETL数据抽取、转换、加载作者：SAP_Jimmy数据仓库的一个重要功能就是对不同来源的数据进行归集和处理。不同类型的数据对象可以用来存储这些数据或者实现数据的联合视图。
徐川江的个人博客·2023-09-22 13:51

六、数据仓库详细介绍（ETL）工具篇上

对于相对简单的ETL系统我们可以完全依赖数据库或者内部开发一个小型的的流程控制、调度工具去实现，但是对于大多数的数据仓库项目，从数据源到最终数据应用，至少也有大几十上百甚至几百个ETL过程（节点），这些过程之间的依赖关系
Hanson,·2023-09-22 13:50

ETL工具点评

ETL所完成的工作主要包括三方面：首先，在数据仓库和业务系统之间搭建起一座桥梁，确保新的业务数据源源不断地进入数据仓库；其次，用户的分析和应用也能反映出最新的业务动态，虽然ETL在数据仓库架构的三部分中技术含量并不算高
赵一一·2023-09-22 13:20

干货丨常用的数据集成ETL工具有哪些？

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
传智播客·2023-09-22 13:19

推荐一款可以快速抽取sap数据的ETL工具

然而，使用SAPERP系统面临着一些数据分析不方便，数据导出困难等问题：数据集成困难：将SAP中的数据整合到其他系统或本地数据仓库通常是一项复杂的任务。
苛子·2023-09-22 13:46

BD就业复习第五天

回答：Hive是一个数据仓库工具，它建立在Hadoop之上，用于分析和查询大规模数据。Hive将SQL查询转化为MapReduce任务，但由于MapReduce的延迟，性能可
密斯特.张先生·2023-09-22 12:48

BD就业复习第三天

1.连续活跃区间表的实现思路实现连续活跃区间表是数据仓库中常见的需求，通常用于分析用户或实体在一段时间内的活跃情况。
密斯特.张先生·2023-09-22 11:42

MPPDB是什么？

个问题搞定大数据理论体系解答MPPDB是一款SharedNothing架构的分布式并行结构化数据库集群，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算平台，并广泛地用于支撑各类数据仓库系统
Shockang·2023-09-22 02:29

系统稳定性保障设计总结和思考

是选择Mysql这类OLTP数据库还是MPP型OLAP数据仓库。如何进行消息队列选型？是选择可靠性更强的RabbitMQ还是还是轻松吞吐百万流量的Kafka，这些都是需要根据具体的业务和场景来抉择的。
yangnk42·2023-09-22 00:00

NineData X SelectDB 联合发布会，即将上线！

本次发布会将聚焦于实时数据仓库技术和数据开发能力，展示SelectDB新一代实时数据仓库产品如何解决实时数据分析的行业痛点，以及「NineData如何提供高效、智能、安全的数据管理能力」。
·2023-09-21 21:31

Tapdata Connector 实用指南：云原生数仓场景之数据实时同步到 Databend

典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用ETL处理等。引用随着TapdataConnector的不断增长，我们最新推
·2023-09-21 14:28

ELT in ByteHouse 实践与展望

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群谈到数据仓库，一定离不开使用Extract-Transform-Load(ETL)或Extract-Load-Transform
·2023-09-21 12:18

ELT in ByteHouse 实践与展望

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群谈到数据仓库，一定离不开使用Extract-Transform-Load(ETL)或Extract-Load-Transform
·2023-09-21 12:46

活动报名 | Modern Data Stack Meetup 北京首站启动！与三大开源社区共同探索现代数据栈的最佳实践

现代数据堆栈的流行伴随着云计算和云数据仓库的崛起，本质上是各种软件工具的组合，用于在一个完全集成的基于云的数据平台上收集、处理和存储
·2023-09-21 12:42

HIVE，SparkSql和Presto对比

HIVE，SparkSql和Presto对比HIVEhive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
loophome·2023-09-21 09:20

电商数仓学习笔记(一）

第一章数据仓库概念第二章项目需求及架构设计项目需求项目框架第三章数据生成模块目标数据数据埋点服务器和jdk准备编写集群分发脚本xsync模拟数据集群日志生成脚本第四章数据采集模块集群所有进程查看脚本Hadoop
芝士雪豹.·2023-09-21 06:01

数仓主题域和数据域、雪花模型，星型模型和星座模型

数据域和主题域都是数据仓库中的重要概念，但含义略有不同，常常作为面试官的面试考点。数据域指的是特定的业务领域或是业务过程，如销售、采购、人力资源管理、财务等。在数据仓库中。
Aimyon_36·2023-09-20 23:23

发挥现代数据栈MDS的更大价值

将碎片数据集成到集中式数据仓库依赖于ELT或ETL过程，为此您可能需要多个提供程序来连接所有源。以下步骤-存储，转换，可视化和分析-都涉及将数据重新
qq_38767591·2023-09-20 21:47

json函数 presto_Presto Functions

Presto被设计为数据仓库和数据分析产品：数据分析、大规模数据聚集和生成报表。这些工作经常通常被认为是线上分析处理操作。所以说，当公司业务有跨库分析时(一般情况是，业务数据库
weixin_39644146·2023-09-20 08:23

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:10
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他