--------【数据仓库】

数据仓库与数据挖掘

数据仓库与数据挖掘第一章：数据仓库和数据挖掘概述1.1数据仓库的产生数据仓库与数据挖掘：数据仓库和联机分析处理技术(存储)。数据挖掘：在大量的数据中心挖掘感兴趣的知识、规则、规律、模式、约束(分析)。
nefu_0iq·2022-06-01 08:40

墨天轮访谈 | 阿里云捷熙：AnalyticDB，人人可用的数据分析服务

AnalyticDB是融合数据库、大数据技术于一体的云原生企业级数据仓库平台，今天我为大家带来的分享分为三个方面：AnalyticDB的诞生背景、AnalyticDB产品介绍、AnalyticDB应用场景
·2022-05-31 12:28

腾讯云数据库TDSQL两大引擎全新升级，分析能力和Oracle兼容能力大幅提升

TDSQL是腾讯云企业级分布式数据库，旗下涵盖金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系，提供业界领先的金融级高可用、计算存储分离、数据仓库、企业级安全等能力。
·2022-05-31 10:13

阿里巴巴云数据仓库 MaxCompute 数据安全最佳实践

简介：MaxCompute作为企业级SaaS模式云数据仓库，正在为客户业务及其数据提供持续的安全保护。
·2022-05-31 09:39

Hudi数据湖简介

首先介绍一下什么是数据湖，提到数据湖，不得不说一下数据仓库。关系型数据库大行其道的年代，随着各个业务系统增多，在应对一些分析场景时，慢慢产生了数据仓
阿福Chris·2022-05-31 07:40

数据仓库(04)基于维度建模的数仓KimBall架构

  基于维度建模的KimBall架构，将数据仓库划分为4个不同的部分。分别是操作型源系统、ETL系统、数据展现和商业智能应用，如下图。  
·2022-05-31 00:27

国产ETL数据仓库搭建平台TASKCTL关于kettle作业转换的使用方式

Kettle作业转换TASKCTL默认采用pan命令方式调度kettle转换作业。除此之外，我们还提供了taskctl-plugin-kettle（Soap服务）插件的方式驱动kettle转换。相比原生的pan命令，Soap服务直接驱动kettle核心进行调度。资源消耗更低、速度更快，支持高并发。安装taskctl-plugin-kettle服务1.确保安装环境（unix/windows）具备ke
TASKCTL·2022-05-30 16:58

ACA(大数据助理工程师备考)笔记

种类多来源结构化半结构化非结构化云计算大数据关系云计算提供计算与存储大数据在其基础上进行应用比如大数据发展历史大数据处理问题思路分而治之存储技术分布式文件系统大数据分析技术Hadoop生态圈阿里云大数据产品业务流程产品映射存储与数据库产品数据同步数据开发与分析应用构建离线数据仓库将各种不同数据
撸码的xiao摩羯·2022-05-28 07:21

如何将年薪从十五万到五十万系列之大数据开发轻量级入门方案

基本上总结心得全放在微信公众号上面了（数据仓库践行者）。
嘉祐-小萝卜算子·2022-05-28 03:31

大数据项目学习（一）

Hasoop/Hbase计算：Hive/Tez查询：Presto/Druid/Kylin可视化：Superset任务调度：Azkaban全流程调度集群监控：Zabbix元数据管理：Atlas脚本：Shell数据仓库业务数据
爱爱爱爱五月天·2022-05-28 02:50

Oracle分析函数用法详解

通常和数据仓库、数据分析、数据挖掘等概念联系在一起。这些系统的特点是数据量大，对实时响应的要求不高或者根本不关注这方面的要求，以查询、统计操作为主。
·2022-05-27 12:40

4万字 全面解读数据中台、数据仓库、数据湖等概念！建议收藏！

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易
公众号:肉眼品世界·2022-05-27 07:26

深入浅出亚马逊AWS数据湖

【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822701为好友后入群。
傅一平·2022-05-27 07:06

数据湖与数据仓库的根本区别，在于前者是“市场经济”，而后者是“计划经济”...

这是傅一平的第356篇原创【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822702为好友后入群。
傅一平·2022-05-27 07:06

一文读懂数仓建设和数据治理

用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影
无精疯·2022-05-27 07:32

一文读懂数据仓库、数据湖、湖仓一体

目录1、数据仓库数据仓库的特征2、数据湖数据湖的特征数据仓库和数据湖的对比3、湖仓一体湖仓一体的特征湖仓一体的优势智能湖仓数据仓库、数据湖、湖仓一体对比1、数据仓库数据仓库，英文名称为DataWarehouse
若小鱼·2022-05-27 07:25

深度探索通过数据共享（data sharing）优化 Amazon Redshift 工作负载分解

前言AmazonRedshift是一款完全托管的PB级大规模并行数据仓库，它操作简单并且性能高效。它使用标准SQL和现有的商业智能(BI)工具来快速、简单且经济高效地分析所有数据。
·2022-05-23 10:18

什么是反向ETL？

反向ETL的实践应用反向ETL有三个主要用例：数据智能：反向ETL的关键用例是将数据仓库与商业智能（BI）工具集成，以分析数据，提供决策和BI支持。
·2022-05-23 09:38

从“数据”到“大数据”，激发数据潜力，深耕智能应用！

传统意义上的数据处理方式包括数据挖掘，数据仓库联机分析处理（OLAP）等，而在“大数据时代”，数据已经不仅仅是需要分析处理的内容，更重要的是人们需要借助专用的思想和手段从大量看似杂乱繁复的数据中，收集整理和分析数据足迹
·2022-05-22 10:59

一文了解Hive是什么

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive的优缺点优点:类似于SQ
·2022-05-19 13:53

数据仓库(03)数仓建模之星型模型与维度建模

  维度建模是一种将数据结构化的逻辑设计方法，也是一种广泛应用的数仓建模方式，它将客观世界划分为度量和上下文。度量是常常是以数值形式出现，事实周围有上下文包围着，这种上下文被直观地分成独立的逻辑块，称之为维度。它与实体-关系建模有很大的区别，实体-关系建模是面向应用，遵循第三范式，以消除数据冗余为目标的设计技术。维度建模是面向分析，为了提高查询性能可以增加数据冗余，反规范化的设计技术。上面的解释看
·2022-05-18 17:44

华为云数据“黑科技”，赋能社群电商领跑者“云”出道

【摘要】为支撑电商公司梦饷集团的经营分析、精细化拓客、风控、创新业务洞察等应用场景，华为云云原生数据湖使用数据湖探索DLI+数据仓库DWS作为基础数据处理层支持离线、实时、交互式场景，并无缝对接上层AI
·2022-05-18 09:17

vue--vuex介绍与使用

Vuex是一个专为Vue.js应用程序开发的状态管理模式，单一状态树,通俗理解就是一个应用的数据集合，可以想象为一个“前端数据库”（数据仓库），让其在各个页面上实现数据的共享包括状态，并且可操作。
鑫709·2022-05-17 17:46

Python使用ClickHouse的实践与踩坑记录

目录1.关于ClickHouse使用实践1.1.ClickHouse应用于数据仓库场景1.2.客户端工具DBeaver1.3.大数据应用实践2.Python使用ClickHouse实践2.1.ClickHouse
·2022-05-17 10:00

Tech Talk · 云技术有话聊 | 基于低代码的数据开发如何提升效率？

5月12日，信服云大数据研发技术专家Cody在信服云《TechTalk·云技术有话聊》系列直播课上分享了《基于低代码的数据开发》，详细介绍了低代码平台如何提升用户的数据开发效率，传统的数据仓库、实时计算开发
·2022-05-16 16:21

云原生数仓如何破解大规模集群的关联查询性能问题？

简介：AnalyticDBforPostgreSQL(以下简称ADBPG)是一款PB级的MPP架构云原生数据仓库。
·2022-05-16 10:40

Delta Lake基础介绍（商业版）

作者：李洁杏，Databrick资深软件工程师一、Lakehouse搜索引擎设计背景1.数据仓库和Lakehouse数据管理系统从早期的数据仓库（DataWarehouse），已经发展到今天的Lakehouse
·2022-05-13 15:24

如何使用Delta Lake构建批流一体数据仓库

简介：DeltaLake是一个开源存储层，它为数据湖带来了可靠性。DeltaLake提供了ACID事务、可扩展的元数据处理，并统一了流式处理和批处理数据处理。Delta-Lake运行在现有数据湖之上，并且与ApacheSparkAPI完全兼容。希望本篇能让大家更深入了解DeltaLake，最终可以实践到工作当中。作者：李元健，Deltabricks软件工程师冯加亮，阿里云开源大数据平台技术工程师D
·2022-05-13 14:14

数据仓库—开发规范

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
·2022-05-13 09:22

数据仓库—开发规范

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2022-05-12 19:00

数据仓库(02)数仓、大数据与传统数据库的区别

  数据仓库（数仓）与大数据区别，数据仓库（数仓）与数据库的区别，大数据与传统数据库的区别等等，这篇文章带你了解。  
·2022-05-11 21:34

数据仓库的分层架构与演进

简介：分层架构很容易在各种书籍和文档中去理解，但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来，我会从数据研发与建模的角度，演进一下分层架构的设计原因与层次的意义。分层架构很容易在各种书籍和文档中去理解，但是把建模方法和分层架构放在一起就会出现很多困惑了。一、分层的演进之所以会有分层架构，最主要的原因还是要把复杂冗长的数据吹流程分拆成一些有明确目的意义的层次，这样复杂就被拆解为一些相对简
·2022-05-11 14:59

数据仓库的分层架构与演进

**简介：**分层架构很容易在各种书籍和文档中去理解，但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来，我会从数据研发与建模的角度，演进一下分层架构的设计原因与层次的意义。分层架构很容易在各种书籍和文档中去理解，但是把建模方法和分层架构放在一起就会出现很多困惑了。一、分层的演进之所以会有分层架构，最主要的原因还是要把复杂冗长的数据吹流程分拆成一些有明确目的意义的层次，这样复杂就被拆解为一
阿里云云栖号·2022-05-11 05:00

写文章 点击打开星环科技的主页 星环科技多模型大数据基础平台TDH9.0：十种数据模型组合拳 打通大数据业务全场景

经过多次迭代和技术升级，到2021年TDH8.0发布，TDH已成为一个企业级大数据基础平台，基于其领先的多模型技术架构，8种异构存储引擎支持10种数据模型，被广泛应用在离线数据批处理、高并发的在线数据服务、数据集市、数据仓库
·2022-05-10 14:04

星环科技打造自主可控的高性能数据库，开启国产化升级新篇章

多模型数据库ArgoDB具备完整的SQL兼容性，同时具备高扩展、高可靠、多模型、存算解耦等能力，一站式满足数据仓库、实时数据
·2022-05-10 13:02

项目二准时数仓（漏斗分析+UAD预测）

此项目还未写完一项目背景介绍基于新闻咨询行业的头条数据进行的准实时处理的数据仓库建设。新闻咨询行业的app，软件有今日头条，腾讯新闻，百度浏览器，360浏览器。
林柚晞你今天博学了吗·2022-05-10 05:26

Flink CDC Meetup · Online，5.21 开讲！

实时数据集成是指将各个数据孤岛中的数据实时地同步、集中到数据仓库中，便于后续进行统一的实时分析。实时数据集成是数据技术
·2022-05-09 11:24

Hive 3.x 配置&详解

Hive1.数据仓库概述1.1基本概念数据仓库（英语：DataWarehouse，简称数仓、DW），是一个用于存储、分析、报告的数据系统。
Xi-iX·2022-05-08 22:00

FIT9131数据仓库

FIT9131Semester12021Assignment225April20211UsedCarWarehouseDatabaseSystemDueDate:10:00pmonFridayinWeek12(28May2021)IntroductionThisassignmentisworth25%ofthemarksforyourfinalassessmentinthisunit.Heavyp
·2022-05-08 16:47

数据仓库(10)数仓拉链表开发实例

拉链表是数据仓库中特别重要的一种方式，它可以保留数据历史变化的过程，这里分享一下拉链表具体的开发过程。
张飞的猪·2022-05-06 21:00

中台实践：数据中台建设五步法

数据中台这个东西，现在业界并没有一个完整的标准定义，数据中台至少首先是一个分布式的数据仓库，同时包含相对应实施的方法论和方案，介于分布式数据仓库和企业全面数据化中间的任意一个点都可以被定义为数据中台。
四月天03·2022-05-06 07:40

python报表设计工具_报表自动化，三流用Excel，二流用Python，一流用它

具体流程可以分为3个步骤：1、对接数据源：从数据库或数据仓库中取数，生成原始数据sheet
weixin_39614528·2022-05-05 09:34

数据仓库（DW）常见维度模型方式

1、星型模型星型模型主要是维表和事实表，以事实表为中心，所有维度直接关联在事实表上，呈星型分布。2、雪花模型雪花模型，在星型模型的基础上，维度表上又关联了其他维度表。这种模型维护成本高，性能方面也较差，所以一般不建议使用。尤其是基于hadoop体系构建数仓，减少join就是减少shuffle，性能差距会很大。星型模型可以理解为，一个事实表关联多个维度表，雪花模型可以理解为一个事实表关联多个维度表，
他们叫我技术总监·2022-05-03 20:56

倒计时0日！Apache DolphineScheduler4月 Meetup 大佬手把手教你大数据开发，离线调度

有了数据平台和数据仓库，选择什么系统来调度和管理数仓任务就显得尤为重要。ApacheDolphinScheduler作为新一代的大数据任务调度系统，致力于让调度变得更加容易。身
·2022-04-30 10:52

探索Snowflake auto clustering 设计

ContextSnowflakeIPO大火之后大家开始慢慢了解到这个完全基于云架构而设计的新式数据仓库。
·2022-04-29 14:40

开发一个不需要重写成Hive QL的大数据SQL引擎

摘要：开发一款能支持标准数据库SQL的大数据仓库引擎，让那些在Oracle上运行良好的SQL可以直接运行在Hadoop上，而不需要重写成HiveQL。
华为云开发者社区·2022-04-29 11:00

深入浅出Embedding原理解析与应用实践

吴茂贵,王红星著吴茂贵资深大数据和人工智能技术专家，在BI、数据挖掘与分析、数据仓库、机器学习等领域工作超过20年。
人工智能与算法学习·2022-04-29 07:24

阿里的一键TT

写在前面数据仓库的特性之一是集成，即首先把未经过加工处理的、不同来源的、不同形式的数据同步到ODS层，一般情况下，这些ODS层数据包括日志数据和业务DB数据。
·2022-04-28 21:52

云原生小课堂 | 一文入门性能凶悍的开源分析数据库ClickHouse

ClickHouse全称是ClickStream,DataWarehouse，简称ClickHouse就是基于页面的点击事件流，面向数据仓库进行OLAP分析。
·2022-04-28 16:18

数据分析新手必看：这些概念一定要记住！

什么是商业智能BI：BusinessIntelegence，商业智能，基于数据仓库，经过数据挖掘后，得到了商业价值的过程。
I小码哥·2022-04-27 07:21
上一页 72 73 74 75 76 77 78 79 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他