--------【数据仓库】

美图离线ETL实践

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。在美图特有的业务环境下，ETL需要做到以下需求：1.大数
浪尖聊大数据-浪尖·2023-04-03 05:33

详解用户画像与实时数仓的架构与实践

关键词：数据仓库，ApacheDori
浪尖聊大数据-浪尖·2023-04-03 05:03

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
微服务商城技术分享·2023-04-03 04:20

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
微服务 spring cloud·2023-04-03 04:00

谷歌云GCP

感谢公司赞助了GoogleCloudPlatform(GCP)Coursera课程：https://www.coursera.org/，包括云基础设施，应用开发，数据湖和数据仓库相关知识。
Beth_Chan·2023-04-03 02:18

Doris数据仓库介绍

目录一、Doris简介二、Doris的定位三、产品定位四、Doris的整体架构五、Doris的数据分布六、Doris的关键性技术6.1数据可靠性6.2易于维护6.3ROLLUP表七、Doris的数据模型7.1aggregate聚合模型7.2uniqukey模型7.3duplicatekey模型7.4数据模型的选择建议八、数据组织(存储原则)--按列存储九、索引：9.1前缀索引：9.2智能索引十、m
海阔天空_81·2023-04-03 02:47

34学习数据分析工具 Hive 的基本用法，包括数据仓库、SQL 查询

Hive是一个基于Hadoop的数据仓库工具，它提供了SQL-like的查询语言，使得用户可以用类似SQL的方式查询和分析存储在Hadoop上的大数据。
玩机科技社·2023-04-03 00:35

什么是数据仓库？大数据实时数仓建设架构图，及应用案例介绍

本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。全文5000字，读完需要13分钟！
hellozhxy·2023-04-02 23:51

ClickHouse原理解析与应用实践

第1章ClickHouse的前世今生在大量数据分析场景的解决方案中，传统关系型数据库很快就被Hadoop生态所取代传统关系型数据库所构建的数据仓库，被以Hive为代表的大数据技术所取代数据查询分析的手段也层出不穷
yeedom·2023-04-02 22:45

数据仓库中星型模型和雪花模型

参考：理解数据仓库中星型模型和雪花模型在数据仓库的建设中，一般都会围绕着星型模型和雪花模型来设计表关系或者结构星型模型星型模型图星型模是一种多维的数据关系，它由一个事实表和一组维表组成。
Grey____·2023-04-02 21:39

精准水位在流批一体数据仓库的探索和实践

本文结合实时计算的水位技术在流批一体数据仓库中的探索和实践，重点阐述了水位技术的概念和相关理论实践，尤其就水位在实时计算系统中的特性、边界定义和应用，最后重点描述了一种改进的精准水位的设计和实现。
百度Geek说·2023-04-02 19:04

Presto实现原理和美团的使用实践

Presto实现原理和美团的使用实践Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。
星河_赵梓宇·2023-04-02 18:25

数据挖掘(2.4)--数据归约和变换

数据压缩1.4其他数据归约方法回归分析直方图聚类简单随机采样（SAS）2.数据离散化2.1基于信息增益的离散化2.2基于卡方检验的离散化2.3基于自然分区的离散化3.概念层次生成1.数据归约在实际应用中,数据仓库可能存有海量数据
码银·2023-04-02 17:17

Business Intelligence商业智能：概念、数据仓库、相关工具

一、前言datawarehousedatamarts,anddatalakesdatawarehousesEnterpriseDataWarehouse通用架构:datacube:slicing:dicing:drilling:pivoting:rollingup(aggregate):meterializedviews可以设置不同的refreshoption:never:creation的时候常
little_miya·2023-04-02 14:53

关于《数据仓库知识体系》的超全指南（建议收藏）

文章很长，前言一定要看拥有本篇文章，意味着你拥有一本完善的书籍，本篇文章整理了数据仓库领域，几乎所有的知识点，文章内容主要来源于以下几个方面：源于资深数据仓库工程师的交流讨论，如《sql行转列的千种写法
云 祁·2023-04-02 14:45

GBase 8a MPP Cluster产品简介

它是在GBase8a列存储数据库基础上开发的一款SharedNothing架构的分布式并行数据库集群，具备高性能、高可用、高扩展等特性，可以为各种规模数据管理提供高性价比的通用计算平台，并广泛用于支撑各类数据仓库系统
Sunmengze·2023-04-02 11:45

Presto架构及原理、安装及部署

2019独角兽企业重金招聘Python工程师标准>>>Presto是Facebook推出的一个基于Java开发的大数据分布式SQL查询引擎，可对从数G到数P的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别
weixin_33701564·2023-04-02 09:05

presto 理论概念和安装部署总结

presto由facebook开源，用于在apachehadoop之上的数据仓库上运行交互式查询
stackldy·2023-04-02 09:22

（一）HIVE基本概念原理

1、HIve的概念：官方解释：Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。
默云客·2023-04-02 09:33

Datax和Kettle使用场景的对比

多维度对比较维度\产品KettleDataX设计及架构适用场景面向数据仓库建模传统ETL工具面向数据仓库建模传统ETL工具支持数据源多数关系型数据库少数关系型数据库和大数据非关系型数据库开发语言JavaPython
击水三千里·2023-04-02 09:59

42-组件-数据传递vuex举例

将子组件数据传递给父组件3.在父组件方法中修改父组件的数据4.将父组件的数据传递给另外一个子组件image.pngimage.pngimage.png二.直接修改vuex中的state(共享数据)1.创建数据仓库并定义
梦想成为小仙女·2023-04-02 08:15

阿里DTS 学习笔记

一、DTS是什么DTS（DataTransmissionService,数据传输服务），用于在关系型数据库、NoSQL数据库、数据仓库之间迁移数据。
AlbenXie·2023-04-02 08:59

数字孪生网络（DTN）架构

通过实时或者非实时的数据采集方式将物理网络层的数据主要包括物理实体数据、空间数据、资源数据、以及协议、接口、路由、信令、流程、性能、告警、日志、状态等采集存储到数据仓库，为构建网络孪生体以及为网络孪生体赋能提供数据支撑
互联互通社区·2023-04-02 06:25

Hadoop概念以及架构介绍

Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，MapReduce功能实现了将单个任务打碎，并将碎片任务（Map）发送到多个节点上，之后再以单个数据集的形式加载（Reduce）到数据仓库里对于
damokelisijian866·2023-04-02 06:51

华为ROMA平台数据集成FDI配置

华为ROMA平台数据集成FDI配置问题记录因为使用了华为的一套数据加工平台，需要将本地mysql数据库的数据同步到华为dayu平台做数据加工，首先将本地mysql的表数据通过ROMA平台同步到dws数据仓库
snowwithrain·2023-04-02 05:42

数据仓库的概念与设计

目录一、数据仓库概念二、数据仓库建模方法1.ER模型2.维度模型2.1事实表事实类型2.2维度表三、数据仓库设计一、数据仓库概念数据仓库是一个为数据分析而设计的企业级数据管理系统。
勤奋的ls丶·2023-04-02 04:16

数据同步之全量同步与增量同步

一、什么是数据同步业务数据是数据仓库的重要数据来源，我们需要每日定时从业务数据库中抽取数据，传输到数据仓库中，之后再对数据进行分析统计。
勤奋的ls丶·2023-04-02 04:45

信息系统项目管理（二）网络协议、网络存储技术、网络工程、数据仓库和中间件

一、网络标准与网络协议1.1OSI网络七层架构国际标准化组织（ISO）提出的网络体系结构模型，也叫做开发系统互连参考模型（OSI/RM）,通常叫做OSI参考模型。如下图所示：物理层、数据链路层、网络层：统称为通信子网。是为了联网而附加的通信设备完成数据的传输功能。应用层、表示层、会话层：统称为资源子网。相当于计算机系统，完成数据的处理功能传输层：承上启下通信子网和资源子网各层从下到上具体内容如下：
归斯君·2023-04-02 04:10

ARouter实现原理解析

Postcard中的信息导航客户端到目标地址（启动某个Activity或者获取某个服务的实现等）LogisticsCenter:后勤中心，负责注册路由信息到Warehouse和根据path或者Postcard到数据仓库中获取
魔焰之·2023-04-02 03:41

企业信息化战略与实施(练习题)

1：商业智能是指利用数据挖掘、知识发现等技术分析和挖掘结构化的、面向特定领域的存储与数据仓库的信息。它可以帮助用户认清发展趋势、获取决策支持并得出结论。以下(1）活动，并不属于商业智能范畴。
华星详谈·2023-04-02 00:00

企业信息化战略与实施-练习题

企业信息化战略与实施-练习题1：商业智能是指利用数据挖掘、知识发现等技术分析和挖掘结构化的、面向特定领域的存储与数据仓库的信息。它可以帮助用户认清发展趋势、获取决策支持并得出结论。
华星详谈·2023-04-02 00:00

Teradata 宣布退出中国，OushuDB 成为更好选择

老牌数据库公司Teradata曾是全球大数据分析和数仓领域的头部供应商，在中国运营26年(1997-2023)，巅峰期占据中国大半壁数据仓库市场，如今仓皇退出让人唏嘘。
偶数科技·2023-04-01 19:19

数字新基建之数据云

而数据库、数据仓库、大数据平台和数据云等基础软件，构成了企业和政府部门数字化转型的重要基础设施，即“数据基础设施”。
偶数科技·2023-04-01 19:48

数据同步工具ETL、ELT傻傻分不清楚？3分钟看懂两者区别

什么是数据同步工具（ETL、ELT）数据同步工具ETL或者ELT的作用是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据
偶数科技·2023-04-01 19:46

【离线数仓-4-数据仓库设计-分层规划&构建流程】

离线数仓-4-数据仓库设计-分层规划&构建流程离线数仓-4-数据仓库设计-分层规划&构建流程1.数据仓库分层规划2.数据仓库构建流程1.数据调研1.业务调研2.需求分析3.总结2.明确数据域3.构建业务总线矩阵
Apache Minor Trend·2023-04-01 18:28

数据仓库-数仓分层

层级全拼职责划分ODS(源数据层)OperationalDataStoreODS层存储最原始的数据，对数据不做任何加工处理；源数据主要来自业务数据库和日志，这些数据是用户操作业务系统产生，所以叫操作型数据(OperationalData)。DWD(明细层)DataWarehouseDetailDWD层的数据表是对ODS层数据表的关联、字段重命名、清洗、类型转换；一般不做汇总操作和指标计算。DWM(
高个子男孩·2023-04-01 18:13

数据仓库设计规范

数据仓库设计规范一、模型层次结构ODS原始数据层由业务方生成的原始数据，直接放入原始数据层如果需要查原始日志可以从ODS层进行检查DWD仓库明细层是对原始数据层的提炼和清洗，这一层注重对原始数据的清洗和简单汇总
香蕉牛奶蛇皮走位·2023-04-01 18:11

数据仓库规范定义

规范定义指以维度建模为理论基础，构建总线矩阵，划分和定义数据域、业务过程、维度、度量/原子指标、修饰类型、修饰词、时间周期、派生指标经验总结：1，数据字典2，统一字段，性别、时间戳3，字段池4，简写描述5，名词术语定义6，建表规范7，书写规范名词术语：数据域：指面向业务分析，将业务过程或者维度进行抽象的集合。其中，业务过程可以概括为一个个不可拆分的行为事件，在业务过程之下，可以定义指标；维度是指度
木给哇啦丶·2023-04-01 18:25

数仓系列之必知基础

概述数据仓库，简称数仓，是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合，用于支持管理决策。
johnny233·2023-04-01 18:55

数据仓库建设原则规范

一、数据模型架构原则1.数仓分层原则优秀可靠的数仓体系,往往需要清晰的数据分层结构,即要保证数据层的稳定又要屏蔽对下游的影响,并且要避免链路过长。那么问题来了,一直在讲数仓要分层,那数仓分几层最好?目前市场上主流的分层方式眼花缭乱,不过看事情不能只看表面,还要看到内在的规律,不能为了分层而分层,没有最好的,只有适合的。分层是以解决当前业务快速的数据支撑为目的,为未来抽象出共性的框架并能够赋能给其他
m0_57093335·2023-04-01 17:00

大数据 - （三） - Hadoop生态圈技术栈 - Hive

数据仓库工具-HiveHDFS——海量数据存储MapReduce——海量数据分析和处理Yarn——集群资源的管理和作业调度Hive产生背景直接使用MapReduce处理海量数据，面临以下问题：开发难度大
啦啦啦喽啰·2023-04-01 16:55

什么是aws，云计算？怎么学？

从数据仓库到开发工具，文件目录到内容交付，拥有超过200个可用的AWS服务。新服务也可以快速提供到位，而无需提前预支费用。
Lalapodo云原生技术·2023-04-01 16:18

Vuex学习总结

vuex是一个专门为vue.js设计的集中式状态管理架构，——数据仓库。状态：在这可以理解为在data中的属性需要共享给其他vue组件使用的部分，就叫状态，简单的说就是data中需要共用的属性。
晏子小七·2023-04-01 14:45

浅谈数据仓库架构设计

1.数据中台与DW/BI/DSS个人认为数据中台本质上是一种新的适配大数据技术发展的新的“数据仓库-决策支持（商业智能）”架构。这个架构是构建在传统的架构基础之上，对传统架构的一种新的发展。
阿里云技术·2023-04-01 09:38

数据仓库(6)数仓分层设计架构

  目前主流的数据仓库分层大多为四层,也有五层的架构，这里介绍基本的四层架构。分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。  
张飞的猪大数据·2023-04-01 09:26

几种主流的数据仓库建模方法

数据仓库建模在数据仓库建设中有很重要的地位，是继业务梳理后的第二大要点，是将概念模型转化为物理模型的一个过程。
汪巡·2023-04-01 08:07

仓库风格

仓库风格包含一个数据仓库和若干其他构建数据仓库位于改体系结构的中心其他构建访问改数据仓库并对其中的数据进行增删改等操作仓库风格包括：数据库系统超文本系统黑板系统构成：知识源：包含独立的、与应用程序相关的知识
如是说如是·2023-04-01 08:59

主流数据仓库架构简析（11年文章新浪博客迁移）

目前来说，数据仓库架构比较成熟并已经形成理论的主要有两个，一个是CorporateInformationFactory，简称CIF，中文一般翻译为企业信息工厂，代表人物是BillInmon；另一个是MutildimensionalArchitecture
BabyFish13·2023-04-01 08:31

Hive===笔记

学习Hive内容思维导图1.Hive简介：Hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库的表，并且提供类SQL查询的功能。
咏春-阿良·2023-04-01 07:04

大数据技术架构_建设大数据中台架构思考与总结

数据中台定义：集成离线数仓与实时数仓，并以多数据源统一整合采集到kafka,再通过kafka进行离线数据仓库及实时数据仓库，并集用户标签，统一数据资产管理(对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示
weixin_39599705·2023-04-01 07:33
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他