数仓（

大数据内容摘要

数仓是面向主题的、集成的、相对稳定的、随时间变化的用于支持管理决策的数据集合。维度建模的一些基础知识，主要包括事实表、维度表、切片、钻取等事实表是指其中保存了大量业务度量数据的表，是数仓最核心的表。
·2022-04-18 10:38

数仓建模—建模工具PdMan(CHINER)介绍

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2022-04-16 12:00

数仓建模—建模工具PdMan(CHINER)介绍

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2022-04-16 12:00

基于 Databend 和腾讯云 COS 打造新型云数仓

本篇文章向大家演示如何使用Databend基于腾讯云COS构建新式数仓及其计算能力。如果你也在找一个低成本、高性能、支持弹性的数仓，Databend可以为大家提供一个基于对象存储的云原生数仓解决方案。
·2022-04-15 14:49

数仓建模—指标体系

数据仓库系列文章数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系一文搞懂ETL和ELT的区别数据湖知识点技术选型|OLAP大数据技术哪家强？
大数据技术派·2022-04-14 15:45

数据仓库(6)数仓分层设计

目前主流的数据仓库分层大多为四层,也有五层的架构，这里介绍基本的四层架构。分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。
张飞的猪·2022-04-14 12:00

数仓建设 | ODS、DWD、DWM等理论实战（好文收藏）

本文目录：一、数据流向二、应用示例三、何为数仓DW四、为何要分层五、数据分层六、数据集市七、问题总结导读数仓在建设过程中，对数据的组织管理上，不仅要根据业务进行纵向的主题域划分，还需要横向的数仓分层规范
五分钟学大数据·2022-04-13 15:00

50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 下

本文大纲：因内容较多，本文将直接从第五章开始，完整版文档请点击下方链接：本文数仓建设保姆级教程完整PDF版前四章内容在上方链接获取五、实时数仓建设核心1.实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求
·2022-04-13 15:45

2022数据湖技术摘要

DataFunSummit2022数据湖论坛数据湖技术论坛(xiaoe-tech.com)1.美团增量数仓的探索和实践美团离线增量数据的探索和实践Hadoop没有主键概念hive没有主键概念upsert
冰菓_·2022-04-10 21:22

云原生数仓九大误区，你知道多少？

纵观数据库的发展历史，传统关系型数据库最早期主要针对交易处理为主要应用设计的，对于数据仓库分析统计类的应用，也都运行在这类数据库上，比如传统的Oracle、DB2等。这一阶段，一种架构支持多类应用(OneSizeFitsAll）。随着基础设施的演进和业务需求的激增，逐步引发数据处理架构的变革，行业的技术思路由“一种架构支持所有应用”转变成“多种架构支持多类应用”，以Hadoop、MPP数据库为代表
·2022-04-08 15:02

Flink 在众安保险金融业务的应用

整体概况智能营销应用实时特征应用反欺诈应用后期规划点击查看直播回放&演讲PDF一、整体概况上图是我们的实时计算整体架构图，最下层是数据源层，包括了来自于应用系统的业务数据、应用系统的消息数据、用户行为埋点数据以及应用日志数据，这些数据都会经过Flink进入实时数仓
·2022-04-08 14:31

一站式元数据治理平台——Datahub入门宝典

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2022-04-08 14:04

数据分析师干了专业数仓工程师的活，自如是怎么做到的？

与大多企业相比，自如大数据平台的独特之处在于，大量的数仓加工并非由专业的数仓工程师完成，而是由数据分析师所做。而自如的数据
·2022-04-06 13:23

数据安全技术落地经验浅谈和分类分级实施

数字化经济下企业做数据化转型进行数据开发利用往往是先将原来分散各部门各业务系统的数据（业务数据如互联网用户数据、企业内部数据如人力资源系统、研发生产数据如核心技术或专利等）集中到大数据仓库中，这个集中化数仓安全重要性就非常凸显了
IT小神·2022-04-03 07:20

数仓建模—ID Mapping

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据
·2022-04-01 17:23

数据仓库—数据集成

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
·2022-04-01 17:21

中信建投X袋鼠云：实时数仓，证券机构的“速度与稳定”

近年来，《政府工作报告》多次提及“数字经济”，今年更是以独立篇章，详细解读和明确了如何“促进数字经济发展”。数字经济的全产业推进，为金融业带来更多元场景和更高服务要求。其中，随时随地的交易发生场景，要求金融机构必须具备更及时的响应能力。众多金融机构在积极推行数字化改革，以适应时代高速革新。中信建投，是其中极具讨论意义的一家。中信建投证券成立于2005年11月2日，是经中国证监会批准设立的全国性大型
·2022-04-01 17:21

最新大厂数据湖面试题，知识点总结

八、数据湖挑战九、湖仓一体十、目前有哪些开源数据湖组件十一、三大数据湖组件对比一、什么是数据湖本文首发于公众号【五分钟学大数据】，点击获取：数仓建设保姆级教程数据湖是一种不断演
·2022-03-31 21:21

数仓建模—OneID

今天是我在上海租房的小区被封的第三天，由于我的大意，没有屯吃的，外卖今天完全点不到了，中午的时候我找到了一包快过期的肉松饼，才补充了1000焦耳的能量。但是中午去做核酸的时候，我感觉走路有点不稳，我看到大白的棉签深入我的嘴里，我竟然以为是吃的，差点咬住了，还好我有仅存的一点意识。下午我收到女朋友给我点的外卖——面包（我不知道她是怎么点到的外卖，我很感动），很精致的面包，搁平时我基本不喜欢吃面包，但
·2022-03-31 16:28

数据仓库(5)数仓Kimball与Inmon架构的对比

数据仓库主要有四种架构，Kimball的DW/BI架构、独立数据集市架构、辐射状企业信息工厂Inmon架构、混合Inmon与Kimball架构。不过不管是那种架构，基本上都会使用到维度建模。Kimball的DW/BI架构，可以参考这篇文章数据仓库(4)基于维度建模的KimBall架构。独立数据集市架构，采用这种架构的数据仓库，数据以部门为基础来部署，不考虑企业级别的信息共享和集成。也就是各个部门各
张飞的猪·2022-03-31 14:00

数仓建模—OneID

今天是我在上海租房的小区被封的第三天，由于我的大意，没有屯吃的，外卖今天完全点不到了，中午的时候我找到了一包快过期的肉松饼，才补充了1000焦耳的能量。但是中午去做核酸的时候，我感觉走路有点不稳，我看到大白的棉签深入我的嘴里，我竟然以为是吃的，差点咬住了，还好我有仅存的一点意识。下午我收到女朋友给我点的外卖——面包（我不知道她是怎么点到的外卖，我很感动），很精致的面包，搁平时我基本不喜欢吃面包，但
大数据技术派·2022-03-30 17:00

字节跳动基于 Apache Hudi 的多流拼接实践方案

字节跳动数据湖团队在实时数仓构建宽表的业务场景中，探索实践出的一种基于HudiPayload的合并机制提出的全新解决方案。
·2022-03-30 14:46

数据中台 第7章 数据体系建设:数仓分层设计、数据建模、数据标准

数据中台数据体系是在全域原始数据的基础上，进行标准定义及分层建模，数据体系建设最终呈现的结果是一套完整、规范、准确的数据体系，可以方便支撑数据应用。中台数据体系应具备以下特征：·覆盖全域数据：数据集中建设，覆盖所有业务过程数据，业务在中台数据体系中总能找到需要的数据。·结构层次清晰：纵向的数据分层，横向主题域、业务过程划分，让整个层次结构清晰易理解。·数据准确一致：定义一致性指标，统一命名、统一业
四月天03·2022-03-30 09:47

数据中台(八) 数据建设

数仓层建设统一数仓层站在业务的视角，不考虑业务系统流程，从业务完整性的角度重新组织数据，统一数仓层的目标是建设一套覆盖全域、全历史的企业数据体系，利用这套数据体系可以还原企业任意时刻的业务运转状态。
mark_wu2000·2022-03-30 09:15

Linux部署可视化报表superset（python3.7.11版）

2.Superset应用场景由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具。
勇于自信·2022-03-28 08:52

数仓如何设置大小写不敏感函数

摘要：本文旨在介绍DWS中存在的一些大小写不敏感函数，介绍大小写敏感GUC参数设置的使用和对应大小写敏感函数的结果展示。本文分享自华为云社区《GaussDB(DWS)大小写不敏感函数》，作者：积少成多。1.大小写不敏感函数大小写不敏感函数是指入参忽略大小写的函数，此类函数的主要应用场景是字符串的查询。是否大小写敏感会影响字符串查询的结果。涉及到字符串查询的函数有locate函数、position函
华为云开发者社区·2022-03-25 14:00

实时数仓入门训练营：实时数仓助力互联网实时决策和精准营销

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题
阿里云开发者·2022-03-25 09:59

Flink 在米哈游的落地实践

本篇内容主要分为四个部分：背景介绍实时平台建设实时数仓和数据湖探索未来发展与展望一、背景介绍米哈游成立于2011年，致力于为用户提供美好的、超出预期的产品与内容。
·2022-03-24 15:45

字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化

Kafka/ByteMQ/RocketMQ->HDFS/Hive（下面均称之为MQdump，具体介绍可见字节跳动基于Flink的MQ-Hive实时数据集成）在数仓建设第一
·2022-03-24 14:56

Apache Flink 在斗鱼的应用与实践

本篇内容主要分为四个部分：背景介绍实时平台建设实时数仓探索未来发展与展望点击查看直播回放&演讲PDF一、背景介绍斗鱼成立于2014年，是一家致力于为所有人带来欢乐的，弹幕式直播分享平台。
·2022-03-24 14:36

图解大数据 | 实操案例-Hive搭建与应用案例

http://www.showmeai.tech/arti...声明：版权所有，转载请联系平台与作者并注明出处1.Hive搭建与配置大数据生态中最重要的工具平台之一是Hive，它是离线计算的关键组件，常用于数仓建设
·2022-03-24 14:58

Hive小文件问题及处理

作者：张建第一章小文件过多带来的三个影响Hive是一个建立在ApacheHadoop之上建立的一个数仓系统，Hive使用Hadoop中的HDFS组件存储数据文件。
·2022-03-24 14:26

Flink 在米哈游的落地实践

本篇内容主要分为四个部分：背景介绍实时平台建设实时数仓和数据湖探索未来发展与展望一、背景介绍米哈游成立于2011年，致力于为用户提供美好的、超出预期的产品与内容。
·2022-03-24 11:41

数仓建设保姆级教程，离线和实时一网打尽(理论+实战)

数仓建设保姆级教程，离线和实时一网打尽(理论+实战)本文大纲：因内容较多，带目录的PDF查看是比较方便的：数仓建设保姆级教程PDF文档一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识
·2022-03-22 11:34

数据仓库—数据集成

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表
大数据技术派·2022-03-21 18:00

字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化

Kafka/ByteMQ/RocketMQ->HDFS/Hive（下面均称之为MQdump，具体介绍可见字节跳动基于Flink的MQ-Hive实时数据集成）在数仓建设第一
·2022-03-21 14:49

字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化

Kafka/ByteMQ/RocketMQ->HDFS/Hive（下面均称之为MQdump，具体介绍可见字节跳动基于Flink的MQ-Hive实时数据集成）在数仓建设第一
字节跳动数据平台·2022-03-21 14:00

Apache Flink 在斗鱼的应用与实践

本篇内容主要分为四个部分：背景介绍实时平台建设实时数仓探索未来发展与展望点击查看直播回放&演讲PDF一、背景介绍斗鱼成立于2014年，是一家致力于为所有人带来欢乐的，弹幕式直播分享平台。
·2022-03-18 10:54

美团外卖实时数仓方案整理

实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是：一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合，同时满足实时和准实时业务场景。
独孤风·2022-03-18 09:00

从读写角度，带你了解数仓的IO基本框架

摘要：本文从读取和写入的角度分别描述了行存和列存的IO模型，并对文件结构做了简单介绍。本文分享自华为云社区《GaussDB(DWS)基本IO框架》，作者：Naibaoofficial。行存IO管理框架存储结构OID(Objectidentifiers):对象的唯一标识。每个表存在对应数据库的文件夹中，用relfilenode标识。例如表row1，可以直接查询对应的文件test=#selectpg_
华为云开发者社区·2022-03-16 15:00

坐标PCB公司，想做实时数仓、推生产线看板，和Tapdata Cloud的偶遇来得就是这么凑巧

TapdataCloud是一款很有「前途」的产品。——TapdataCloud用户|一线DBA@某PCB全球百强企业从首次提出这一概念起，已经10年过去了，“工业互联网”仍然是制造业高质量发展的主题。踩着这阵东风，数字化升级、智能制造、工业信息化等关键词接连冒头，有效利用“数据的力量”，成为推进产业升级创新、提升产品质量的重要一环，“制数权”的身价水涨船高。建立“数据仓库”，便是这样的背景下，相关
·2022-03-15 19:10

为什么他们选择了GaussDB

数据库和数仓是承载金融等企业核心交易业务与数据处理的基石。
·2022-03-13 12:02

Java体系下的日志框架总结

比如通过日志信息回流数仓，加工产出特征。实际的Java开发中，会引入很多开源的服务框架，比如spring、rpc框架等，这些框架来自不同机构组织，会定义框架自身日志打印规范。
wei906·2022-03-12 15:54

CloudCanal x StarRocks 在医疗大健康实时数仓领域的落地与实践

希望文章内容对各位读者使用CloudCanal构建实时数仓带来一些帮助。#业务背景大健康背景下，用户对报表和数据大屏的实时性能要求越来越高。
·2022-03-11 17:34

图解大数据 | 实操案例-Hive搭建与应用案例

http://www.showmeai.tech/arti...声明：版权所有，转载请联系平台与作者并注明出处1.Hive搭建与配置大数据生态中最重要的工具平台之一是Hive，它是离线计算的关键组件，常用于数仓建设
·2022-03-08 18:19

Flink 流处理在中信建投证券的实践与应用

摘要：本篇内容整理自中信建投证券金融实时数仓项目负责人刘成龙、金融资讯数据研发工程师蔡跃在FlinkForwardAsia2021行业实践专场的演讲。
·2022-03-08 14:51

【案例】替代进口数仓，星环科技助力北京银行建设新一代大数据平台

成立于1996年的北京银行，抢抓时代机遇，相继实现引资、上市、跨区域等发展突破，在北京、天津、上海、西安、深圳、杭州、长沙、南京、济南、南昌、石家庄、乌鲁木齐等十余个中心城市以及香港特别行政区、荷兰拥有670多家分支机构，探索了中小银行创新发展的经典模式。北京银行资产规模稳健增长，继续领跑全国城商行，跻身全球百强银行和我国系统重要性银行。在世界品牌实验室品牌价值排行榜中，品牌价值升至654亿元。在
·2022-03-08 14:20

数据孤岛下的新破局 Real Time DaaS：面向 AP+TP 业务的数据平台架构

从传统数仓，到大数据平台，再到数据中台和湖仓一体新数据平台，在日益加重的数据孤岛困扰下，面向AP场景的解决方案可谓浩如烟海。
·2022-03-07 18:19

当 TiDB 遇上 Flink：TiDB 高效入湖“新玩法” | TiLaker 团队访谈

数据湖是大数据领域近年来非常火热的技术，传统数仓无法实现增量数据的实时更新，也无法支持灵活的元数据格式，数据湖技术便在这一背景下诞生了。
TiDB_PingCAP·2022-03-07 14:44

数仓建模—ID Mapping - 大数据技术派 - 博客园

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据
·2022-03-05 19:00
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他