数仓（

火山引擎Dataleap治理实践：如何降低数仓建设成本

背景存储与计算资源是数仓建设的基础，也是数仓建设中的重要成本支出。而随着数仓建设规模逐渐扩大、时间跨度逐渐拉长，将不可避免的出现数据表、任务、字段的冗余。
BigDataDigest·2023-06-22 15:57

Flink系列 - 实时数仓之FlinkCDC实现动态分流实战（十）

  自从Flink出了FlinkCDC之后，我们对数据库日志的采集就变得方便了许多了，除去了MaxWell、Cannel、OGG等第三方组件的繁琐配置，目前实现CDC有两种方式：HQL实现和DataStreamAPI实现(推荐)。  想更深入的了解CDC可以通过此链接进行学习：  1.文档->https://ververica.github.io/flink-cdc-connectors/mast
小飞牛_666·2023-06-22 13:08

数仓|Hive性能调优（二）

7、优化SQL处理join数据倾斜(1)空值或无意义值这种情况很常见，比如当事实表是日志类数据时，往往会有一些项没有记录到，我们视情况会将它置为null，或者空字符串、-1等。如果缺失的项很多，在做join时这些空值就会非常集中，拖累进度。因此，若不需要空值数据，就提前写where语句过滤掉。需要保留的话，将空值key用随机方式打散，例如将用户ID为null的记录随机改为负值：selecta.ui
Distantfbc·2023-06-22 08:48

hadoop shell操作HDFS文件

一.常用的hadoopshell文件路径需要自己有才行，示例中的文件路径是本人自己的文件路径，不是公共文件路径，如何建立自己的数仓，查看本人大数据单机学习环境搭建相关文章1.1查看创建删除#列出当前hdfs
赫加青空·2023-06-22 08:08

[建议收藏] Mysql+ETLCloud CDC+Doris实时数仓同步实战

一、业务需求及其痛点随着数字化转型，企业需要对各种销售及营销数据进行实时同步分析，例如销售订单信息，库存信息，会员信息，设备状态信息等等，这些统计分析信息可以实时同步到Doris中进行分析和统计，Doris作为分析型数据库特别适合于对海量数据的存储和分析，我们只需要把MySQL的表单数据实时同步到Doris即可以实现实时数据分析能力。二、ApacheDoris介绍ApacheDoris是一个现代化
苛子·2023-06-22 06:26

Hive中数据库和表的操作(HSQL)

数仓管理工具Hive可以将HDFS文件中的结构化数据映射成表，利用HSQL对表进行分析，HSQL的底层运行机制，默认是MapReduce计算，也可以替换成Spark、Tez、Flink计算结果存储在HDFS
时下握今·2023-06-22 05:19

大牛书单 | 大数据存储方向好书分享

TEG书知道本期特邀腾讯云数仓数据湖产品负责人堵俊平、腾讯云数据库负责人林晓斌、腾讯TEG云架构平台部数据块中心高级工程师王银虎，腾讯TEG计费平台部账户中心专家工程师潘安群为大家带来大数据方向好书推荐
dbLenis·2023-06-22 03:41

【Hive实战】Hive治理方向探讨（请留意见）

路径实际不存在表级路径应是分区路径的前缀内部表使用非内部表路径外部表使用内部表路径表的属性个数异常按时间维度规整表附录分析语句识别分区数识别分区层级存储相关编解码信息存储路径表属性分区属性附录hive元数据数仓表
顧棟·2023-06-22 03:10

Apache Flink X Apache Doris 构建极速易用的实时数仓架构

本篇内容主要分为四个部分：实时数仓需求和挑战基于ApacheDoris和ApacheFlink构建实时数仓用户案例与最佳实践分享新版本特性点击查看直播回放和演讲PPT一、实时数仓需求和挑战在数据流的角度上
·2023-06-21 14:18

Flink 在 讯飞 AI 营销业务的实时数据分析实践

本篇内容主要分为四个部分：业务简介数仓演进场景实践未来展望点击查看直播回放&演讲PDF一、业务简介构建实时数据分析平台是为了更好的解决业务对更高数据时效性的需求，先简单介绍一下业务流程。
·2023-06-21 14:14

知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
·2023-06-21 14:37

知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
·2023-06-21 14:37

知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
·2023-06-21 14:06

尘锋信息基于 Apache Paimon 的流批一体湖仓实践

尘锋信息基于ApachePaimon构建流批一体湖仓，主要分享：整库入湖，TB级数据近实时入湖基于Flink+Paimon的数仓批ETL建设基于Flink+Paimon的数仓流ETL建设数仓OLAP与数据地图点击进入
·2023-06-21 12:48

数据仓库(08)数仓事实表和维度表技术

所谓的事实表和维度表技术，指的就是如何和构造一张事实表和维度表，是的事实表和维度表，可以涵盖现在目前的需要和方便后续下游数据应用的开发。事实表，就是一个事实的集合。事实来自业务过程的度量，基本上以数量值表示。事实表行对应一个事实，一个事实对应一个物理可以观察的事件，例如，再零售事件中，销售数量与总额是数据事实，与销售事件不相关的度量不可以放在同一个事实表里面，如员工的工资。事实表是实际发生的度量，
·2023-06-21 12:14

数据仓库(10)数仓拉链表开发实例

拉链表是数据仓库中特别重要的一种方式，它可以保留数据历史变化的过程，这里分享一下拉链表具体的开发过程。维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。这里用商品价格的变化作为例子，具体的开发过程要按实际的来，不能照搬代码，编程重要的是了解背后的思路和原理，而不是ctrl+c和
·2023-06-21 12:14

数据仓库(03)数仓建模之星型模型与维度建模

  维度建模是一种将数据结构化的逻辑设计方法，也是一种广泛应用的数仓建模方式，它将客观世界划分为度量和上下文。
·2023-06-21 12:12

数据仓库(01)什么是数据仓库，数仓有什么特点

  这里会介绍数据仓库的理解，什么是数据仓库技术，数据仓库的作用。  数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。  我简单的做一个比喻，数据仓库就是可以理解就是一个使用仓
·2023-06-21 12:40

数据仓库(12)数据治理之数仓数据管理实践心得

这边文章聊聊自己对数据治理开发实践的一些思路，就是聊聊怎么开始去做数据治理这件事情。说起数据治理，有时候虽然看了很多文章，看了很多的介绍，了解数据治理的理论，但是实际上需要我们去搞的时候，就会踩很多的坑。这里记一下自己做数据治理的一些思路，做做笔记，也分享给需要的同学。当然，想要做数据治理，想要学习了解，一下数据治理的范围，理论等，最好可以看看别人怎么做的，了解数据治理可以参考：数据仓库(11)什
·2023-06-21 12:00

大数据电商数据仓库系统搭建 附离线安装包

一、数仓理论1、数据仓库概念数据仓库（DataWarehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。
wespten·2023-06-21 09:42

电商数仓（用户行为采集平台）数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume

1、数据仓库概念数据仓库（DataWarehouse），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在MySQL、Oracle等数
星光下的赶路人star·2023-06-21 01:17

浅谈数仓的数据治理

绝大数公司建立数仓之初是没有考虑好数据治理怎么做的，因为数据部门刚开始成立，必然要有一些“数据驱动”的成果，而数据治理不能很好的体现这些业绩。
产品经理自我修养·2023-06-20 23:37

详述Hive企业级优化

一、问题背景hive离线数仓开发，一个良好的数据任务，它的运行时长一般是在合理范围内的，当发现报表应用层的指标数据总是产出延迟，排查定位发现是有些任务执行了超10小时这样肯定是不合理的，此时就该想想如何优化数据任务链路
产品经理自我修养·2023-06-20 23:36

跟我一起总结【数据仓库】之——实施经验

本次的分享涵盖了交付物、数据仓库设计、需求变更及处理方法、问题记录1.交付物：《库表检查记录》《API接口文档》《数据架构图》《数仓资源访问方式》数据库类型、数据库位置，面向的是不会使用数据库的客户。
SunWuKong_Hadoop·2023-06-20 15:28

flink 实时数仓构建与开发[记录一些坑]

记-flink实时数仓搭建、开发、维护笔记业务场景描述数仓架构数仓分层odsdimdwddws数仓建模注意项数仓建模开发规范命名规范问题与原因分析1、debezium采集pg表，数据类型问题2、业务库出现大批量刷表数据
cg6·2023-06-20 08:24

数仓架构、模型设计与优化、开发规范

数仓模型设计与开发规范数仓架构数据存储设计开发规范表名定义规范字段命名（字段类型）规范指标一致性规范维度一致性规范离线数仓模型构建的简单见解1、业务数据与架构变化情况说明2、数据分层说明2.1ods层模型说明
cg6·2023-06-20 08:23

Databend 开源周报 第 97 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-06-20 06:39

Databend 开源周报第 96 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-06-20 03:16

Databend 开源周报第 93 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-06-20 03:46

Databend 开源周报 第 83 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.com。
Databend·2023-06-20 03:45

Databend 开源周报第 91 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-06-20 03:45

Databend 开源周报第 92 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-06-20 03:45

消息推送平台的实时数仓？！flink消费kafka消息入到hive

大家好，3y啊。好些天没更新了，并没有偷懒，只不过一直在安装环境，差点都想放弃了。上一次比较大的更新是做了austin的预览地址，把企业微信的应用和机器人消息各种的消息类型和功能给完善了。上一篇文章也提到了，austin常规的功能已经更新得差不多了，剩下的就是各种细节的完善。不知道大家还记不记得我当时规划austin时，所画出的架构图：现在就剩下austin-datahouse这个模块没有实现了，
·2023-06-19 20:18

新闻速递 | KaiwuDB 亮相 DTCC 2022 线上大会并发表系列主题演讲

本届大会以“数据智能价值创新”为主题，邀请超百位行业专家，重点围绕时序数据库、图数据技术、实时数仓技术与应用实践、云原生数据库、大数据平台与数据安全等内容展开分享和探讨。
·2023-06-19 19:01

实时数仓Hologres 新一代弹性计算组实例技术揭秘

随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。
·2023-06-19 17:56

阿里云实时数仓Hologres年度发布，解读数仓新趋势

简介：阿里云实时数仓Hologres年度发布，解读数仓新趋势。
·2023-06-19 17:22

数据仓库介绍与实时数仓案例

1.数据仓库简介数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变的越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术也在不停的发展。数据
·2023-06-19 17:16

如果你也想做实时数仓…

本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。
·2023-06-19 17:16

数仓架构“瘦身”，Hologres 5000CU时免费试用

Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis
·2023-06-19 17:38

【大数据存储】ORC和Parquet区别

15111861/article/details/103025418ORC官网https://orc.apache.org/Parquet官网https://parquet.apache.org/Hive数仓建表该选用
JH_Zhai·2023-06-19 14:39

揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
Apache Flink·2023-06-18 12:08

美团买菜基于 Flink 的实时数仓建设

摘要：本文整理自美团买菜实时数仓技术负责人严书，在FlinkForwardAsia2022实时湖仓专场的分享。
Apache Flink·2023-06-18 12:07

数仓的分层理论

一、简介2021-4-2511:04:16数据仓库分层是数据仓库设计中非常重要的一个环节，一个好的分层设计可以极大地简化数据仓库的操作，提升使用体验。然需要注意的是，分层理论并不绝对，只是提供一种普适的指导思想和原则，最重要的还是要看业务的具体需要。为什么要做数据分层？作为数据分析人员，我们自然希望自己的数据体系分层清晰、有序，容易调用和维护，对设计者和使用者来说，都赏心悦目，比如说下图这种：层次
经年藏殊·2023-06-18 11:31

Golang面经

参考自：链接(1)rpc微服务框架(2)mq底层数仓(3)runtime包里面的方法(4)redis过期策略和内存淘汰策略过期策略：过期策略解释定时删除设置某个Key的过期时间的同事，创建一个定时器，到时间就删除该
Yuan_xii·2023-06-18 09:50

数据仓库技术与Hive入门

文章目录数据仓库基本概念场景案例主要特征主流开发语言-SQL数仓开发语言概述SQL语言介绍结构化数据SQL语法分类ApacheHive入门ApacheHive安装部署元数据HiveSQL语言数据仓库基本概念数据仓库
北山啦·2023-06-18 08:28

FlinkSQL行级权限解决方案及源码

此方案是实时领域Flink的解决方案，类似离线数仓Hive中RangerRow-levelFilter方案。
数据探险家·2023-06-18 08:26

Hadoop 4：Hive

数据仓库概念数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。
ZhaoXiangmoStu·2023-06-18 01:57

Hbase、Kudu和ClickHouse横向对比V2.0

4基本操作对比4.1数据读写操作4.2数据查询操作5HBASE在滴滴出行的应用场景和最佳实践5.1订单事件5.2司机乘客轨迹5.3ETA5.4监控工具DCM5.5小结6网易考拉基于KUDU构建实时流量数仓实践
陈舟的舟·2023-06-17 23:34

携手共赢 HashData亮相华为合作伙伴大会

在本次大会上，HashData展示了云数仓领域最新前沿技术以及联合华为打造的多云环境下云原生数仓存储解决方案。
·2023-06-17 21:48

大数据/数仓面试灵魂30问（转）

可简单说下理解与思路3.数据仓库、数据中台、数据湖的理解4.传统数仓的程度（建模工具、ETL工具、BI报表工具、调度系统）5.传统数仓和大数据数仓的异同？有哪些大的变化？6.印象最深刻的项目？为什么？
Eva菠萝·2023-06-17 19:21
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他