数据仓库

滴滴数据服务体系建设实践

实时采集并清洗导入离线表和实时写入对应数据源三种方式，当前滴滴内部同步中心平台已经提供了MySQL、Oracle、MongoDB、Publiclog等多种数据源的数据采集能力；数据开发/生产，用户可以构建实时、离线两种数据仓库
滴滴技术·2023-08-10 20:45

ETL数据仓库工具Kettle(PDI)轻量级Web应用服务器环境搭建

一、Kettle工具简介最近做的项目用到了ETL工具Kettle，这个工具相当好用，可以将各种类型数据作为数据流，经过处理后再生成各种类型的数据。正如其名“水壶”，将各个地方的水倒进水壶里，再用水壶倒入不同的容器。本教程主要介绍kettle轻量级服务器Carte的部署与应用，主要记录研究过程中踩的坑。二、Kettle组件说明Kettle里有不同的工具，用于ETL的不同阶段。主要工具如下：Spoon
学无止境00·2023-08-10 18:21

2021-02-20

1、复制概述1.1、介绍可以通过为服务器配置一个或多个备库的方式来进行数据同步，复制功能不仅有利于构建高性能的应用，同时也是高可用性、可扩展性、灾难恢复、备份以及数据仓库等工作的基础。
先弓·2023-08-10 07:08

数据血缘落地实践

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2023-08-10 06:58

在Microsoft SQL Server 2008中，语法生成错误“并行数据仓库（PDW）功能未启用“

案例：原表有两列，分别为月份、月份销售额，而需要一条SQL语句实现统计出每个月份以及当前月以前月份销售额和sql测试数据准备：DECLARE@TempTable(monthNoINT,---月份MoneyDataFloat---金额)insertINTO@TEMPSELECT1,100UNIONALLSELECT2,200UNIONALLSELECT3,300UNIONALLSELECT4,400
monaxu·2023-08-10 05:54

（十五）大数据实战——hive的安装部署

前言Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本节内容我们主要介绍一下hive的安装与部署的相关内容。
北溟溟·2023-08-09 23:57

GitHub有什么作用？

4.使用gitclone仓库地址克隆远端数据仓库到本地。5.使用gitpull仓库地址拉去最新的远程仓库版本。（注意
cyz_hd·2023-08-09 22:24

Trino开荒

一.概述1.1Trino历史Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。
oifengo·2023-08-09 19:39

Flink1.10集成Hive快速入门

之后出现的SQL引擎，如SparkSQL、Impala等，都在一定程度上提供了与Hive集成的功能，从而方便用户使用现有的数据仓库、进行作业迁移等。
大数据技术与数仓·2023-08-09 10:12

搭建企业级BI系统有多快？奥威BI表现惊人

搭建BI系统需要建立一个可靠的数据仓库和针对分析工具/UI的数据结构。同时，这个过程需要不断地迭代优化与维护。主要有搭建环境、建设数仓和分析模型、设计数据可视化报表。
qq_43696218·2023-08-09 07:11

软考下午科目——第二章——数据库设计

包括概念模式、外模式和内模式了解数据模型，包括E-R图、第一范式、第二范式、第三范式了解数据操作，包括集合运算和关系运算了解数据库语言，即SQL了解数据库的控制功能，包括并发控制、恢复、安全性、完整性了解数据仓库和分布式数据库的基础知识了解数据库的逻辑设计和物理设计常考的考点
七七r·2023-08-09 07:19

基于 Flink x TiDB，智慧芽打造实时分析新方案

摘要：本文整理自智慧芽数据仓库架构师曲明星在FlinkForwardAsia2021实时数仓专场的分享。
Flink中文社区·2023-08-09 02:20

数据湖真的能取代数据仓库吗？【SNP SAP数据转型 】

数据湖和数据仓库的存在并不冲突，也并不是取代的关系，而是相互的融合关系。
snpgroupcn·2023-08-08 14:49

数据仓库系列篇之实现架构

blog.csdn.net/bocai8058文章目录前言架构历史演变离线大数据架构实时架构之Lambda架构实时架构之Kappa架构Lambda架构与Kappa架构的对比前言通过收集资料、个人经验总结整理了【数据仓库系列篇
小学僧来啦·2023-08-08 13:53

数据仓库系列篇之分层思想

Link:http://blog.csdn.net/bocai8058文章目录前言模型分层操作数据层（ODS）公共维度模型层（CDM）应用数据层（ADS）基本原则前言通过收集资料、个人经验总结整理了【数据仓库系列篇
小学僧来啦·2023-08-08 13:53

数据仓库系列篇之管理规范

GHB@Link:http://blog.csdn.net/bocai8058文章目录前言Hive存储规划数据模型设计命名规范表命名字段命名词根库任务调度组织规范前言通过收集资料、个人经验总结整理了【数据仓库系列篇
小学僧来啦·2023-08-08 13:22

数仓建模—ID Mapping

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据
大数据技术派·2023-08-08 12:26

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
2301_77700816·2023-08-07 21:19

阿里云大数据实战记录4：生产环境添加列

因为不同的引擎，意味着不同的配置，对应的语法也是不同的，比如mysql的引擎和maxcomputer的引擎新增列的操作不同，下面找了两个文档可供参考云原生数据仓库AnalyticDBMyS
Xin学数据·2023-08-07 21:43

1、Spark SQL 概述

SparkSQLisApacheSpark’smoduleforworkingwithstructureddata.它是spark中用于处理结构化数据的一个模块SparkSQL历史Hive是目前大数据领域，事实上的数据仓库标准
Wzideng·2023-08-07 13:13

HCatalog教程_编程入门自学教程_菜鸟教程-免费教程分享

教程简介HCatalog使用了Hive的元数据存储，这样就使得像MapReduce这样的第三方应用可以直接从Hive的数据仓库中读写数据。
IT民工爱搬砖·2023-08-07 08:55

各种大数据概念笔记

各种大数据概念1数据仓库数据分层定义1.1方式1宽表-topic事实层-fact基础整合层1.2方式二ADS：ApplicationDataService，应用数据层也可以称为或者发展为DMdatamarketing
weixin_40455124·2023-08-07 04:29

产品图鉴：Greenplum

Greenplum是老牌的MPP数据仓库，查询稳定性很强，SQL支持非常全面（支持ANSISQL2008和SQLOLAP2003扩展；支持ODBC和JDBC应用编程接口。
桥路丶·2023-08-07 02:59

大数据常见应用场景及架构改进

大数据常见应用场景及架构改进大数据典型的离线处理场景1.大数据数据仓库及它的架构改进2.海量数据规模下的搜索与检索3.新兴的图计算领域4.海量数据挖掘潜在价值大数据实时处理场景大数据典型的离线处理场景1
桥路丶·2023-08-07 02:29

2023大数据技术应用的五个主要场景总结

大数据技术应用的几个主要场景：离线处理、实时流处理、交互查询、实时检索和融合数据仓库离线数据处理和分析：一、离线处理场景：通常是指对海量数据进行分析和处理，形成结果数据，供下一步数据应用使用。
胖胖的洋葱·2023-08-07 02:58

Greenplum原理及其简介

Greenplum介绍组织架构Greenplum数据库是一种大规模并行处理（MPP）数据库服务器，其架构特别针对管理大规模分析型数据仓库以及商业智能工作负载而设计。
贾斯汀玛尔斯·2023-08-06 21:50

关于数据仓库与数据湖，4万字总结

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
公众号:肉眼品世界·2023-08-06 14:56

HIVE学习

Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
叫我莫言鸭·2023-08-06 07:40

Hive常见面试题

Hive是一个基于Hadoop生态系统的数据仓库和数据处理工具。它提供了类似于SQL的查询语言（HiveQL），使用户能够使用SQL语句来查询和分析大规模存储在Hadoop集群上的数据。
Matthew117·2023-08-06 06:13

数据仓库知识整理

由于现在做的项目是各个银行的数据仓库的项目，因为以前也不了解，用于自己学习整理，算是在即的一份备份。如有不正确和不足的地方，希望多多指教。
heybo_zhang·2023-08-06 02:50

大数据之Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
不如打代码·2023-08-05 22:18

关于Data Lake的概念、架构与应用场景介绍

当时核心要解决的问题是传统数据仓库报表分析面临的两个问题：只使用一部分属性，这些数据只能回答预先定义好（pre-determined）的问题。数据被聚合了，最
大数据技术架构·2023-08-05 18:38

数据仓库分层设计

美团配送数据治理实践美团配送数据治理实践-美团技术团队数据仓库分层没有绝对的规范，适合的就是最好的，特别是企业已经有一个初版的数仓的时候，需要做好改造成本和可理解性之间的平衡。
javastart·2023-08-05 15:06

【GaussDB(DWS)】数据分布式存储-三种类型的表

@toc一、环境说明华为数据仓库服务DWS，集群版本8.1.3.320集群拓扑结构：二、数据分布式方式DWS采用水平分表的方式，将业务数据表的元组打散存储到各个节点内。
若兰幽竹·2023-08-05 08:05

数据中台建设过程中“通用化+标准化+敏捷性”

数据中台的本质就是“数据仓库+数据服务中间件”。从业务视角，数据中台是指通过完成企业内外部多源异构的数据采集、治理、建模、分析、应用，打通数据孤岛实现数据集中管理应用,成为企业数据资产管理中
产品经理自我修养·2023-08-05 05:14

数据库和数据仓库到底有什么区别和联系？

有位做数据分析的小伙伴问我：老师，你们做商业智能BI的总在讲数据仓库、数据仓库，我感觉在数据仓库上还是跟其它数据库一样操作写SQL就可以跑一些数据出来，感觉跟数据库没有什么区别啊，他们的区别到底在哪里啊
派可数据BI可视化·2023-08-05 05:42

数据仓库与关系型数据库区别

数据仓库与关系型数据库区别数据仓库与数据库的主要区别在于：数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。
cxf_coding·2023-08-05 05:12

浅析数据库与数据仓库

对于数据库的概念，大家可能都比较熟悉，但是对于数据仓库，可能理解相对模糊，两个概念很容易搞混。事实上，数据库与数据仓库差异很大，下面为大家介绍一下数据库和数据仓库的相关知识。
英方·2023-08-05 05:12

数据仓库与数据库之间的区别

数据仓库，其实也是存储数据的，相对于数据库来说存储的数据量要更庞大。而且数据仓库多是用于决策分析的。
心情这个东西·2023-08-05 05:11

数据库 与 数据仓库的本质区别是什么？

当用计算机来处理数据的时候,数据就需要存储和管理了。早期的数据,就是用一个文件来实现的,即是文件系统。随着处理的数据量增大,发展到用数据库来管理和存储数据了。数据库包括多媒体数据库、对象关系数据库和关系数据库。关系数据库管理系统,已经成为了事实上通用的数据库系统,因为它以关系表格式存储数据,并以简单明了的SQL标准的格式对数据进行存取。随着数据量的增多,人们开始寻找各种数据之间的关系,研究面向某一
亿信华辰软件·2023-08-05 05:11

数据库与数据仓库

数据库与数据仓库：简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。
AllenGd·2023-08-05 05:40

数据库和数据仓库联系和区别

数据库和数据仓库联系和区别1、前言2、来源3、用途4、特性不同4.1设计4.2优化4.3数据量1、前言不能简单的说数据仓库是数据库的扩大版，它们是针对不同的服务而产生的，传统的数据库针对（OLTP）联机事务处理
跳舞的皮埃尔·2023-08-05 05:40

数据库与数据仓库的区别及关系

数据库与数据仓库的区别及关系数据库数据仓库异同差异联系例子数据库数据库是结构化信息或数据的有序集合，一般以电子形式存储在计算机系统中。通常由数据库管理系统(DBMS)来控制。
Lin-CT·2023-08-05 05:10

hive底层与数据库交互原理

一、Hive到底是什么image.png如何理解Hive（1）从概念上来看->Hive是基于Hadoop的一个数据仓库工具；它是MapReduce的一个封装，底层就是MapReduce程序；->Hive
VincentLeon·2023-08-04 19:09

python自动化部署hadoop集群_大数据集群的自动化运维实现思路

原标题：大数据集群的自动化运维实现思路|作者简介王晓伟知数堂《大数据实战就业》课程讲师六年大数据相关工作经验清华大学软件工程硕士曾就职于网易、搜狗等互联网企业从事大数据及数据仓库的开发管理工作拥有丰富的数据平台建设
weixin_39869959·2023-08-04 19:11

关于数据仓库那些事 - 数据质量和数仓主题

数仓主题是什么数据仓库主题是指透过“上帝视角”将企业不同业务流程信息进行汇总、分类然后对其进行分析利用的一个抽象化的概念。也是指企业中某一分析领域具体的分析对象，这样一来，每
派可数据BI可视化·2023-08-04 17:16

落地数字化管理，提升企业市场竞争力

数据仓库-派可数据商业智能BI数据可视化分析平台2、客户关系管理（CRM）系统：实施一个CRM系统来跟踪和管理
派可数据BI可视化·2023-08-04 17:46

大数据开发：数据仓库建模方法与模型

大数据平台当中的数据仓库，往往需要通过建模来更好地对数据进行存储和管理，这其中涉及到性能、成本、效率、质量等多方面的综合考量，对于工程师来说，也需要细细规划。
成都加米谷大数据·2023-08-04 13:24

什么是大数据开发？

大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
yoku酱·2023-08-04 13:19

Docker快速部署Apache Kylin和体验

疫情在家，就疯狂撸起来吧~参考URL：https://zhuanlan.zhihu.com/p/2010205361.Kylin是什么ApacheKylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop
万州客·2023-08-04 13:30
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他