数据中台数据仓库第17页

【数字化转型方法论读书笔记】-数据中台五要素

数据中台的五要素是数据、业务、算法、应用和组织，这五要素是做好数据中台的基本要求，也是帮助企业合理运用数字化平台的重点。

码农丁丁·2023-11-23 15:52

2、数仓理论概述与相关概念

1、问：数据仓库建设过程中经常会遇到那些问题？

广阔天地大有可为·2023-11-23 12:39

20.大数据---Hive基础介绍

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

学无止境的大象·2023-11-23 12:07

大数据开发之Hive优化篇6-Hive on spark

备注:Hive版本2.1.1一.HiveonSpark介绍Hive是基于Hadoop平台的数据仓库，最初由Facebook开发，在经过多年发展之后，已经成为Hadoop事实上的SQL引擎标准。

只是甲·2023-11-23 12:06

大数据最佳实践-hive on spark

它最初是作为数据仓库(DW)工具构建的，现在它具有轻松交换执行引擎的功能，因此更具吸引力。简而言之，使用HiveonSpark，您的查

WakeUpCcc·2023-11-23 12:33

数据仓库岗面试

1.自我介绍2.求用户连续登录3天，要讲出多种解法解法1（使用SQL）：SELECTuseridFROMloginrecordWHEREDATEDIFF(day,time,LAG(time)OVER(PARTITIONBYuseridORDERBYtime))=1ANDDATEDIFF(day,LAG(time)OVER(PARTITIONBYuseridORDERBYtime),TIME)=2;

ChlinRei·2023-11-23 11:36

基于流计算 Oceanus（Flink） CDC 做好数据集成场景

无论是在在企业数据中台的建设，亦或者是打造一站式数据开发和数据治理的PASS平台。首先需要做的就是进行跨应用的数据融合计算，需要将数据从孤立的数据源中采集出来，汇集到可被计算平台高效访问的目的地。

腾讯云大数据·2023-11-23 09:07

企业如何选择一款高效的ETL工具

在企业发展至一定规模后，构建数据仓库（DataWarehouse）和商业智能（BI）系统成为重要举措。

ETLCloud数据集成社区·2023-11-22 18:26

数仓问答篇（一）

有些大数据数据仓库产品也采用混合架构，以融合两者的优点，例如Impala、Presto等都是基于HDFS的MPP分析引擎，仅利用HDFS实现分区容错性，放弃MapReduce计算模型，在面向OLAP场景时可实现更好的性能

AII派森·2023-11-22 16:36

flink1.10袋鼠云迁移 flink1.15原生环境事项汇总

表DDL(平台自动生成)修改适配1DDL语法不通用(袋鼠云DDL中支持给别名DDL采用数据中台生成的模板,并把老版本DDL中的配置通过到相应参数中)2袋鼠云DDL支持给别名sql中字段和DDL中字段不一致

Thomas2143·2023-11-22 14:04

数据中台项目

项目编号：2023年数据中台项目建设方案项目编号：2023-XX-XX编制单位：XX市XX中心编制日期：二〇二三年四月目录第2章元数据中心1.系统、全面地查询元数据信息⒉.变更评估及精准变更周知3.协助数据问题定位及解决

一凡คิดถึง·2023-11-22 14:37

知乎热议：数据仓库、数据湖、湖仓一体，究竟有什么区别？

来源：知乎作者：十叶心全文共14108个字，建议阅读20分钟一、基本概念1.1数仓发展历史数据湖是以集中方式存储各种类型数据，提供弹性的容量和吞吐能力，能够覆盖广泛的数据源，支持多种计算与处理分析引擎直接对数据进行访问的统一存储平台。它能够实现数据分析、机器学习，数据访问和管理等细粒度的授权、审计等功能。数据湖对存取的数据没有格式类型的限制，数据产生后，可以按照数据的原始内容和属性，直接存储到数据

浪尖聊大数据-浪尖·2023-11-22 13:30

数据仓库工具之Hive的架构原理

1.Hive的本质Hive是基于Hadoop的一个数据仓库工具，它的本质是将HQL语句转化成MapReduce程序.在它的底层,HDFS负责存储数据,YARN负责进行资源管理,MapReduce负责数据处理

GuangHui·2023-11-22 13:05

阿里大数据工程师：教你如何快速的搭建数据库

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。

yoku酱·2023-11-22 13:03

数据中台之用户画像

用户画像应用领域较为广泛，适合于各个产品周期，从新用户的引流到潜在用户的挖掘、从老用户的培养到流失用户的回流等。通过挖掘用户兴趣、偏好、人口统计特征，可以直接作用于提升营销精准度、推荐匹配度，最终提升产品服务和企业利润。还包括广告投放、产品布局和行业报告等。应用场景精准营销常见的营销方式包括APP信息推送、短信营销和邮件营销等。随着运营方式从粗放式到精细化，用户画像技术能更深入和直观的了解用户，而

数据与后端架构提升之路·2023-11-22 13:12

史诗级互联网电商系统的演进过程详解

1.1.3稳定期（11-今）1.2业务模式1.2.1B2C1.2.2C2C1.2.3B2B1.2.4O2O1.2.5其他1.3电商中台1.3.1背景1.3.2概述1.3.3业务中台1.3.4技术中台1.3.5数据中台

不一样的花朵·2023-11-22 10:03

架构师们，怎么走着走着就变“烟囱”了呢？ | 文末含福利

作者|耿立超来源|《大数据平台架构与原型实现：数据中台建设实战》*文末有福利这两年，随着中台概念的兴起，一种IT过去的常态，现在的明星反面教材——“烟囱式架构”被反复提及并为大家所熟知。

csdn业界要闻·2023-11-22 10:16

服务器能不能用普通硬盘,服务器硬盘是什么与普通硬盘区别

如果说服务器是网络数据的核心，那么服务器硬盘就是这个核心的数据仓库，所有的软件和用户数据都存储在这里。对用户来说，储存在服务器上的硬盘数据是特别宝贵的，因此硬盘的可靠性是特别重要的。

老先队员·2023-11-22 10:39

Flink Operator 使用指南之全局配置

背景在上一个章节中已经介绍了基本的Flink-Operator安装，但是在实际的数据中台的项目中，用户可能希望看到FlinkOperator的运行日志情况，当然这可以通过修改Flink-OperatorPOD

麦田里的守望者··2023-11-22 09:45

数据产品_数据中台06_数据沼泽边资产（数据资产）

本章主要内容什么是数据资产数据资产及应用数据资产管理及服务本节目标了解什么是数据资产以及应用熟悉数仓的指标模型熟悉标签的构成了解数据资产管理与服务的方式什么是数据资产数据是一种能源数据是一种能源，不单单是客观存在，发挥了额外价值，能够给业务场景实际带来收益，源源不断供给的一种能源。数据价值的核心体现就是行成数据资产。数据资产数据的价值可以通过数据应用的收益体现。业务收益：个性化推荐、千人千面、算法

andakiwukawa·2023-11-22 06:35

浅谈数据仓库建设中的数据建模方法

周三保([email protected])IBM软件部信息技术专家.简介：本文的主要内容不是介绍现有的比较流行的主要行业的一些数据模型，而是将笔者在数据仓库建设项目中的一些经验，在这里分享给大家。

wer0735·2023-11-22 06:27

数据仓库

一.各种名词解释1.1ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql映射到hive，那么到了hive里面就是ods层。ODS全称是OperationalDataStore，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的ETL之后，装入本层。本层的数据，总体上大多是按照源

qq_44949002·2023-11-22 06:23

数据仓库架构之详解Kappa和Lambda

目录一、前言二、架构详解1Lambda架构1.1Lambda架构组成1.2Lambda特点1.3Lambda架构的优点1.4Lambda架构的不足2Kappa架构2.1Kappa架构的核心组件2.2Kappa架构优点2.3Kappa架构的注意事项三、区别对比四、选择时考虑因素一、前言在大数据处理领域，有两种突出的数据架构已成为处理大量数据的流行选择：Lambda架构和Kappa架构。这两种架构为实

醉酒的戈多·2023-11-22 06:45

数据仓库模式之详解 Inmon 和 Kimball

目录一、前言二、企业信息工厂（Inmon）2.1概念2.2主要组件2.3流程三、多维数据仓库（Kimball）3.1概念3.2核心组件3.3流程四、异同及用途对比4.1异同对比4.2特征比较一、前言大部分关于数据仓库构建与讨论

醉酒的戈多·2023-11-22 06:41

数据中台架构原理与开发实战：数据中台面临的挑战与解决方案

作者：禅与计算机程序设计艺术1.背景介绍数据中台是一种以数据仓库、数据湖、数据集市和分析平台等多种技术组件组合而成的大型IT系统，能够提供企业数据存储、加工、分析、应用的综合化服务，能够实现“智能4.0

禅与计算机程序设计艺术·2023-11-21 23:38

数据湖学习笔记No.03（数据仓库）

数据仓库资料链接：https://cloud.fynote.com/share/d/f3WMWzN数据分析业务痛点分析业务系统数据：存放在关系数据库中用户日志数据：用户在系统中产生javaweb为什么需要大数据

SEUsmith·2023-11-21 22:34

万字详解大数据架构新概念

▲点击上方“老于的笔记”关注公众号回复1，免费获取B端运营地图正文来了随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。

于连林_·2023-11-21 22:53

数仓理论基础

数据仓库的主体hive两种建模方式：ER和维度ER模型实体关系模型：将复杂的数据抽象为实体和关系。实体表示一个对象，关系指的是两个实体之间的关系，比如学生和班级之间的从属关系。

Made in Program·2023-11-21 19:15

数据仓库理论

修改记录时间内容2020年9月13日第一次发布推荐书：《数据仓库工具书》（纯理论）、大数据之路-阿里巴巴大数据实践、一、数仓相关概念数据仓库：英文DataWareHouse，数据仓库是面向主题，为分析数据而设计的

宇宙中的Philip·2023-11-21 17:43

数据仓库_模型设计_学习目录

前言：1、问什么要写这篇博客？随着自己在`数仓`岗位工作的年限增加，对数仓的理解和认知也在发生着变化所有用这篇博客来记录工作中用到的`知识点`与`经验`2、这篇博客主要记录了那些内容？主要会记录一些`数仓建设方法论`和工作技巧目录：

广阔天地大有可为·2023-11-21 13:47

数据中台从规划到落地的不同阶段

系统都是为应用而生的，数据中台也不例外。要构建一套数据中台服务于企业内部和外部运营，需要有成熟的建设方法论作为指导。数据中台建设方法论可分为高阶规划、系统设计、开发实施、试运行和持续运营5个阶段。

Impl_Sunny·2023-11-21 13:38

数据仓库高级面试题

数仓高内聚低耦合是怎么做的定义高内聚：强调模块内部的相对独立性，要求模块内部的元素尽可能的完成一个功能，不混杂其他功能，从而使模块保持简洁，易于理解和管理。低耦合：模块之间的耦合度要尽可能的低，避免模块之间的复杂依赖，使得每个模块都可以独立存在，从而减少模块间的相互影响，提高系统的可维护性。做到低耦合、高内聚一般复杂的公共逻辑可以采用抽象类和抽象方法的方式下沉到共有模块中，然后由相关子类去实现抽象

小小哭包·2023-11-21 13:16

GreenPlum数据库调研及架构介绍

docs-cn.greenplum.org/v6/admin_guide/intro/arch_overview.htmlGreenplum数据库是一种大规模并行处理（MPP）数据库服务器，其架构特别针对管理大规模分析型数据仓库以及商业智能工作负载而设计

Aiky哇·2023-11-21 11:48

pyspark案例系列5-Spark ETL将MySQL数据同步到Hive

文章目录一.需求二.解决方案2.1全量同步2.2增量同步备注：Spark2.4.0一.需求最近做数据仓库项目的时候，觉得sqoop有点慢，然后想尝试使用Spark来做ETL。

只是甲·2023-11-21 10:33

pyspark案例系列6-将Hive表数据写入MySQL

文章目录一.需求二.解决方案一.需求我们做数据仓库的时候，一般是将源系统的数据(如MySQL)抽取到Hive中，然后在Hive中做ETL后，最后将处理完的数据从Hive再抽回到MySQL。

只是甲·2023-11-21 10:33

Deep Patient: An Unsupervised Representation to Predict the Future of Patients from the Electroni...

特别是，使用三层去噪自动编码器堆栈来捕获来自西奈山数据仓库的约700,000名患者的汇总EHR中的分层规律性和依存关系。结果就是我们称为“深层患者”的表示。我们通过评估患者

一二两清酒·2023-11-21 07:14

AIGC ChatGPT4对Gbase数据库进行总结

AIGCChatGPT职场案例AI绘画与短视频制作PowerBI商业智能68集数据库Mysql8.054集数据库Oracle21C142集Office2021实战应用Python数据分析实战，ETLInformatica数据仓库案例实战

阿里数据专家·2023-11-21 05:26

大数据最后一公里——2021年五大开源数据可视化BI方案对比

大数据在经过前几年的野蛮生长以后，开始与数据中台的概念一同向着更实际的方向落地。有人问，数据可视化是不是等同于数据大屏。数据大屏是数据可视化的一部分，其承载更多的是展示与监控的功能。

大数据流动·2023-11-21 05:53

数据中台在工程建造行业的应用实践

1前言近年来，随着人口红利、资源红利、流量红利的逐渐消失，国内工程建造市场正经历着从增量市场向存量市场的转变。与此同时，受人口老龄化、管理粗放、外部环境不可控因素多，以及同业竞争和跨界竞争等多重影响，“利润微薄”和“竞争力弱”正成为大多数工程建造企业面临的主要困境。作为工程建造行业的一员，成都某工程集团（后简称集团）同样面临上述问题。受近两年基建投资额增速放缓影响，集团下属城市轨道交通、水环境治理

大方叶·2023-11-21 04:06

数据中台：Snowflake的独特技术优势

数据中台：Snowflake的独特技术优势Snowflake已于2020年9月16日正式上市，市值超过700亿美元。

96746f611a47·2023-11-21 02:22

数据仓库hive本地/远程模式安装

文章目录1.简述2.本地模式2.1安装包准备2.2解压安装mysql2.2.1解压mysql安装包2.2.2安装mysql相关组件2.2.3修改my.cnf配置文件2.2.4更改所属组2.2.5启动mysql服务2.3hive解压安装及配置2.3.1解压2.3.2改名2.3.3配置环境变量2.3.4添加hive-site.xml配置文件2.3.5放置mysql驱动文件2.3.6启动hive3.远程

吴糖气泡水～·2023-11-20 20:25

Hive本地模式安装（详细）

Hive是建立在Hadoop文件系统上的数据仓库，它提供了一系列工具，能够对存储在HDFS中的数据进行数据提取、转换和加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的工具。

i阿极(暂时无法回复版)·2023-11-20 20:48

大数据数仓建模基础理论【维度表、事实表、数仓分层及示例】

数据仓库建模（DataWarehouseModeling）是指在数据仓库（DataWarehouse）中组织和设计数据的过程，

月亮给我抄代码·2023-11-20 20:59

你在使用大数据技术的时候，你知道大数据语言的工具与框架吗？

对OLAP数据仓库的迁移，如果用Python

yoku酱·2023-11-20 19:25

浅谈BI

首先引用百度百科的定义：商业智能（BusinessIntelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分

秋夜雨凉·2023-11-20 18:34

Hive基础

Hive数据仓库数据仓库是存数据的，企业的各种数据往里存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。

升级打怪的辉哥·2023-11-20 16:07

高斯DWS数据库分页查询优化思路

除了高斯其它关系型数据可也一样可以使用官方链接：EXPLAIN_数据仓库服务GaussDB(DWS)_8.2.0_DML语法_华为云参考链接：MySQL大数据量分页查询方法及其优化_mysql大数据量分页查询优化

4935同学·2023-11-20 10:41

Hive效率优化记录

Hive是工作中常用的数据仓库工具，提供存储在HDFS文件系统，将结构化数据映射为一张张表以及提供查询和分析功能。

Forge_ahead·2023-11-20 03:26

亚马逊云科技AI创新应用下的托管在AWS上的数据可视化工具—— Amazon QuickSight

简介AmazonQuickSight的独特之处AmazonQuickSight注册AmazonQuickSight使用Redshift和AmazonQuickSightt平台构建数据可视化应用程序构建数据仓库数据可视化

lqj_本人·2023-11-20 01:32

第二节:数据仓库系统的体系结构

1：引言上一篇介绍了数据仓库的定义:面向主题的，集成的，不可修改的，随时间不断变化的用来更好的为企业或组织决策分析的数据集合。

weixin_30278311·2023-11-20 01:48

推荐频道

数据中台数据仓库