数仓（

数据湖技术详解

应对关系型结构化数据，传统的数仓技术游刃有余，但对于更为宽泛、多元的异构数据，却爱莫能助。海量音视频、Email、PDF等异构数据大量丢失，影响分析结果
公众号:ITIL之家·2022-07-08 11:32

应用实践 | 数仓体系效率全面提升！同程数科基于 Apache Doris 的数据仓库建设

2020年，同程数科基于ApacheDoris丰富的数据接入方式、优异的并行运算能力、极简运维等特性，引入ApacheDoris进行数仓架构2.0的搭建。
·2022-07-07 19:29

一文读懂数仓中的pg_stat

摘要：GaussDB(DWS)在SQL执行过程中，会记录表增删改查相关的运行时统计信息，并在事务提交或回滚后记录到共享的内存中。这些信息可以通过“pg_stat_all_tables视图”查询，也可以通过下面函数进行查询。本文分享自华为云社区《一文读懂pgstat》，作者：leapdb。
华为云开发者联盟·2022-07-07 10:00

阿里云云原生一体化数仓 — 分析服务一体化新能力解读

分析服务一体化一直都是阿里云离线实时一体化数仓的重要能力创新分析服务一体化需求分析业务在线化、运营精细化驱动数据实时化随着互联网的信息，业务对于在线化、运营精细化的需求日益强烈，领导驾驶舱、实时大屏等，
阿里云云栖号·2022-07-07 07:29

实时数据仓库

本篇文章只是对自己的一些实时数仓经验的一些总结，就架构和数据流向而言其实和离线数据仓库大同小异，但是实时处理有自己的特殊性为什么要有实时数仓？
这个程序猿可太秀了·2022-07-05 19:12

阿里云云原生一体化数仓 — 分析服务一体化新能力解读

直播回放：https://developer.aliyun.com/...分析服务一体化一直都是阿里云离线实时一体化数仓的重要能力创新分析服务一体化需求分析业务在线化、运营精细化驱动数据实
·2022-07-05 18:43

数仓建模—指标体系

数据仓库系列文章数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系一文搞懂ETL和ELT的区别数据湖知识点技术选型|OLAP大数据技术哪家强？
·2022-07-04 18:32

数仓建模—宽表的设计

数据仓库系列文章数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系一文搞懂ETL和ELT的区别数据湖知识点技术选型|OLAP大数据技术哪家强？
·2022-07-04 18:02

数仓建模—数据集市

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
·2022-07-04 18:01

数据仓库理论篇

数据仓库DataWarehouse-数仓是一种思想，数仓是一种规范，数仓是一种解决方案数据仓库之父BillInmon将数据仓库描述为一个面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理者的决策过程
HikZ.919·2022-07-04 12:54

数据仓库架构

大数据架构演变（数仓架构演变）传统离线大数据架构21世纪初随着互联网时代的到来，数据量暴增，大数据时代到来。
Keven He·2022-07-04 12:53

数据仓库理论与实践

数据仓库理论与实践（用户画像）文章目录数据仓库理论与实践（用户画像）一、数仓理论1.1数据库和数据仓库的区别1.2数据建模理论1.3维度建模的步骤二、数据采集2.1通用数据采集框架2.2日志服务器日志采集工具
oahaijgnahz·2022-07-04 12:51

数仓理论- 02 数据仓库架构

3架构3.1架构图3.1.1说明不同企业存在差异，例如：命名不一样，或者是定制的，主流以阿里的参考3.1.2内容ETL,ODS,CDM(DWS,DWD),ADS3.1.3ETL:数据同步模块从业务数据库(即数据源)抽取数据extract交互转换：进行清洗一级标准化transform加载load使用的工具:Sqoop，Kettle，Flume/Logstash(日志，文件等非结构化，半结构化的数据)
:Concerto·2022-07-04 12:18

数据仓库理论篇与Flume

数据仓库理论篇数据仓库DataWarehouse-数仓是一种思想，数仓是一种规范，数仓是一种解决方案数据处理方式数据处理大致可以分为两大类：联机事务处理OLTP（On-LineTransactionprocessing
HikZ.919·2022-07-04 12:46

杠上Spark、Flink？Kafka为何转型流数据平台

它通常作为一个数据管道，链接了各种业务前台和数据后台（比如数仓等）。
weixin_34081595·2022-07-04 08:10

大数据-案例-离线数仓-电商：【MySQL(业务)-ETL(Kettle)】+【前端JS埋点-＞日志-＞Flume-＞HDFS-＞ETL(SparkRDD)】-＞Hive数仓-＞MySQL-＞可视化

一、电商行业简介1、电商行业分析近年来，中国的电子商务快速发展，交易额连创新高，电子商务在各领域的应用不断拓展和深化、相关服务业蓬勃发展、支撑体系不断健全完善、创新的动力和能力不断增强。电子商务正在与实体经济深度融合，进入规模性发展阶段，对经济社会生活的影响不断增大，正成为我国经济发展的新引擎。中国电子商务研究中心数据显示，截止到2012年底，中国电子商务市场交易规模达7.85万亿人民币，同比增长
u013250861·2022-07-02 09:51

Flume可以作为ETL工具吗？

真正的Etl还是要在数仓中（如使用SQL的方式）去完成，在数仓中主要进行的是去除空值，重复，丢失数据的清洗。二者可以配合使用降低数仓的计算压力。
大地你王哥·2022-07-02 09:49

小迈科技 X Hologres：高可用的百亿级广告实时数仓建设

简介：通过本文，我们将会介绍小迈科技如何通过Hologres搭建高可用的实时数仓。
·2022-06-30 15:59

新一代数据分析及实时数仓平台Greenplum，助力企业数字化转型

今天为大家推送的内容整理自Greenplum资深平台架构师牛云飞演讲的《新一代数据分析及实时数仓平台Greenplum介绍》。随着企业的发展，分析也在变化，从单纯面向过去，逐步演进到全视角数据分析。
Greenplum中文社区·2022-06-30 14:18

使用 Databend 助力 MySQL 的数据分析

目标Databend是一个非常先进的基于对象存储云原生数仓[1]可以提强大的计算分析及存储能力。让MySQLDBA非常眼馋。今天想把MySQL的wubx库从MySQL全量迁移到Databend中。
Databend·2022-06-29 16:24

使用 Databend 助力 MySQL 的数据分析

目标Databend是一个非常先进的基于对象存储云原生数仓1可以提强大的计算分析及存储能力。让MySQLDBA非常眼馋。今天想把MySQL的wubx库从MySQL全量迁移到Databend中。
·2022-06-29 12:05

阿里云云原生一体化数仓 — 离线实时一体化新能力解读

简介：介绍MaxCompute+Hologres离线和实时数仓一体化优于之前有离线、有在线、有很多不同的引擎的实现方案，通过用实时的引擎做预处理，实现离线实时数据入仓后做更加实时的服务化BI分析实践。
·2022-06-28 18:20

数仓的字符截取三胞胎：substrb、substr、substring

摘要：下面就来给大家介绍这三个函数在字符截取时的一些用法与区别。本文分享自华为云社区《GaussDB(DWS)中的字符截取三胞胎》，作者：我站在北方的天空下。在GaussDB(DWS)中关于字符截取功能的支持有个函数三胞胎，它们分别是substrb()、substr()、substring()
华为云开发者联盟·2022-06-27 16:00

Flink+Doris 构建实时数仓方案

编者荐语：随着领创集团的快速发展，为了满足十亿级数据量的实时报表统计与决策分析，领创集团选择了Flink+Doris的实时数仓方案。本篇文章详尽了介绍了此方案的实践过程。
·2022-06-24 17:29

快手实时数仓保障体系研发实践

摘要：本文整理自快手实时计算数据团队技术专家李天朔在FlinkForwardAsia2021实时数仓专场的演讲。
·2022-06-24 10:18

IDC：亿信华辰位居中国数据治理解决方案市场份额第一

过去是面向单个数仓或者BI进行数据治理，单个主数据管理、元数据管理、数据
·2022-06-23 16:11

美团基于 Flink 的实时数仓平台建设新进展

摘要：本文整理自美团实时数仓平台负责人姚冬阳在FlinkForwardAsia2021实时数仓专场的演讲。
·2022-06-22 11:19

数据仓库(05)数仓Kimball与Inmon架构的对比

数据仓库主要有四种架构，Kimball的DW/BI架构、独立数据集市架构、辐射状企业信息工厂Inmon架构、混合Inmon与Kimball架构。不过不管是那种架构，基本上都会使用到维度建模。Kimball的DW/BI架构，可以参考这篇文章数据仓库(4)基于维度建模的KimBall架构。独立数据集市架构，采用这种架构的数据仓库，数据以部门为基础来部署，不考虑企业级别的信息共享和集成。也就是各个部门各
·2022-06-21 17:21

StarRocks X Flink CDC，打造端到端实时链路

通过StarRocks结合Flink构建开源实时数仓的方案，可以同时提供秒级数据同步和极速分析查询的能力。同时，通过StarRocks主键模型，也可以更好地支持实时和频繁更新等场景。
·2022-06-21 10:40

DataFunTalk：阿里建设一站式实时数仓的经验分享

简介：本文内容整理于阿里资深技术专家姜伟华在DataFunTalk上的演讲，为大家介绍阿里巴巴基于一站式实时数仓Hologres建设实时数仓的经验和解决方案。
·2022-06-20 17:25

钱大妈基于 Flink 的实时风控实践

除了数仓的分析场景以外，钱大
·2022-06-20 15:39

内部矩阵维度必须一致simulink_浅谈数仓模型（维度建模）

数仓架构的原则：1、底层业务的数据驱动为导向同时结合业务需求驱动2、便于数据分析屏蔽底层复杂业务简单、完整、集成的将数据暴露给分析层3、底层业务变动与上层需求变动对模型冲击最小化业务系统变化影响削弱在基础数据层
weixin_39861882·2022-06-20 01:47

数据仓库-维度建模

目录1.数据仓库定义2.数据仓库和数据库3.数仓分层4.维度建模4.1维度建模VS第三范式4.2维度建模设计过程5.粒度概念6.事实概念6.1事实表技术7.维度概念7.1维度表技术8.数据关系模型8.1
Lowrance_TT·2022-06-20 01:16

数仓维度建模

浅谈数仓模型（维度建模）-知乎背景数据仓库的核心是展现层和提供优质的服务。ETL及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。
古杜且偲·2022-06-20 01:31

数仓(六)：维度建模、步骤： 事实表&维度表设计

一、维度建模基本方法、设计步骤：1、4步骤维度设计过程1、选择业务过程业务过程是组织完成的操作型活动。例如注册用户、下订单，开具发票，付款、处理索赔等。业务过程通常用行为动词表示。因为他们通常表示业务执行的活动。与之相关的维度描述与某个业务过程时间关联的描述环境。业务过程通常由某个操作系统支撑，例如账单或购买系统。业务过程建立或获取关键性能度量。有时这些度量事业务过程的直接结果，度量从其他时间获得
四月天03·2022-06-20 01:17

浅谈数仓模型（维度建模）

数仓架构的原则：1、底层业务的数据驱动为导向同时结合业务需求驱动2、便于数据分析屏蔽底层复杂业务简单、完整、集成的将数据暴露给分析层3、底层业务变动与上层需求变动对模型冲击最小化业务系统变化影响削弱在基础数据层
catydidd·2022-06-20 01:44

利用云原生数仓 Databend 构建 MySQL 的归档分析服务

MySQL归档服务需求分析MySQL常用OLTP业务环境，一般会使用比较好的硬件资源来提供对外服务。现在MySQL数据对外提供的数据动不动好几个T也是正常的。在很多业务中，数据有较强的生命周期，在线一段时间后，可能就是失去业务意义，如：某个业务下线业务数据超过服务周期，例如某个业务只需要近3个月的数据业务操作的日志类型的数据进行归档分库分表的数据库需要合并到同一个地方，提供统计查询及分析能力定期的
·2022-06-20 00:01

Streaming Data Warehouse 存储：需求与架构

作者：[email protected]点击进入Flink中文学习网一、数仓中的计算在计算机领域，数据仓库（DW或DWH），是一个用于报告和数据分析的系统，被认为是商业智能的一个核心组成部分
阿里云开发者·2022-06-17 22:15

终于有人把数据湖讲明白了

作者：彭锋宋文欣孙浩峰来源：数仓宝贝库作为全局数据汇总及处理的核心功能，数据湖在数据中台建设中必不可少。那么它与数据仓库、数据中台是什么关系？
大数据v·2022-06-17 11:44

Databend 在数据归档分析中的优秀表现

正文总体分为四部分：Databend产品简介Databend对Ceph的支持Databend在数据归档中的优秀表现产品使用总结Databend产品简介atabend是一个使用Rust研发、开源、完全面向云架构的新式数仓
Databend·2022-06-16 16:54

从行业角度看，数仓领域的未来是什么？

数据仓库发展历程很久，随着云计算等技术发展以及海量数据应用场景等出现，对数据仓库提出全新要求，高性能、实时性、云原生等成为数据仓库发展关键词，也因此演变出不同的数仓发展路径。
字节跳动数据平台·2022-06-15 14:00

大数据项目离线数仓（全）三（可视化工具版）

本文仅仅包含可视化的工具版，其他内容请关注我的博客！在专栏里！！！本篇文章参考尚硅谷大数据项目写成！可视化的代码版后期更新！敬请期待！！！目录工具可视化（superset）介绍：一、安装准备1.1安装Miniconda二、安装配置2.1安装Miniconda2.2安装python3.6环境2.3配置superset2.4启动superset三、superset制作可视化3.1数据源配置3.2制作仪
一个人的牛牛·2022-06-15 07:42

数据仓库面试知识总结

数据仓库中的数据是随时间变化而变化的二、数据仓库分层1、四层分层2、三层分层3、五层分层三、数据仓库核心理论1、数据仓库建模1.1为什么需要数据建模1.2常见的四种数据仓库建模模型1.3模型选择1.4数仓建
蓦然_·2022-06-15 07:09

数仓-拉链表的详细实现过程

目录目录1-什么是拉链表2-为什么要做拉链表2.1-如何使用拉链表3-拉链表的形成过程4-拉链表的制作过程4.1-初始化拉链表（首次独立执行）4.2-制作当日变动数据（包括新增，修改）每日执行4.3-先合并变动信息，再追加新增信息，插入到临时表中4.4-把临时表覆盖给拉链表5-总结1-什么是拉链表本文以订单拉链表为例进行详细讲解。2-为什么要做拉链表2.1-如何使用拉链表3-拉链表的形成过程4-拉
OkidoGreen·2022-06-08 07:31

面试数仓必须要会的标准回答

文章目录前言一、(3-6分钟)简单介绍一下你的项目二、请描述一下你在数仓项目中如何完成数据采集工作的,包含全量和增量:8分钟(6~10分钟)三.1.请简单介绍下HDFS的数据读写流程4.请简单描述一下zookeeper
云屋探案社.·2022-06-08 07:59

数仓（九）从0到1简单搭建加载数仓DWD层（业务数据解析）

数仓（一）简介数仓，OLTP和OLAP数仓（二）关系建模和维度建模数仓（三）简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构数仓（四）数据仓库分层数仓(五)元数据管理系统解析数仓（六）从0到1简单搭建数仓
浪尖聊大数据-浪尖·2022-06-08 07:51

数仓（十）从0到1简单搭建加载数仓DWS层

数仓（一）简介数仓，OLTP和OLAP数仓（二）关系建模和维度建模数仓（三）简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构数仓（四）数据仓库分层数仓(五)元数据管理系统解析数仓（六）从0到1简单搭建数仓
浪尖聊大数据-浪尖·2022-06-08 07:51

数仓（七）从0到1简单搭建加载数仓DIM层以及拉链表处理

数仓（一）简介数仓，OLTP和OLAP数仓（二）关系建模和维度建模数仓（三）简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构数仓（四）数据仓库分层数仓(五)元数据管理系统解析数仓（六）从0到1简单搭建数仓
浪尖聊大数据-浪尖·2022-06-08 07:50

数仓（八）从0到1简单搭建加载数仓DWD层（用户行为日志数据解析）

数仓（一）简介数仓，OLTP和OLAP数仓（二）关系建模和维度建模数仓（三）简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构数仓（四）数据仓库分层数仓(五)元数据管理系统解析数仓（六）从0到1简单搭建数仓
浪尖聊大数据-浪尖·2022-06-08 07:50

拉链表的介绍和使用

#博学谷IT学习技术支持#1.拉链表的介绍在数仓建模中，一般有渐变维度问题，不同的时间段有不同的状态，这就叫渐变维度问题。
lijian972·2022-06-08 07:10
上一页 46 47 48 49 50 51 52 53 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他