数仓数据湖第16页

大数据平台之数据存储

文章目录1.大数据生态技术2.数据存储3.数据存储的发展3.1数据仓库3.2数据湖4.数据存储的方式4.1批处理的数据存储4.2实时处理的数据存储1.大数据生态技术数据存储处理:清洗,关联,规范化,组织建模

959y·2023-11-05 22:25

数据湖Iceberg介绍和使用(集成Hive、SparkSQL、FlinkSQL)

PartitionEvolution）列顺序演化（SortOrderEvolution）隐藏分区（HiddenPartition）镜像数据查询（TimeTravel）支持事务（ACID）基于乐观锁的并发支持文件级数据剪裁其他数据湖框架的对比存储结

迷雾总会解·2023-11-05 22:25

Apache Flink 在实时金融数据湖的应用

摘要：本文由中原银行大数据平台研发工程师白学余分享，主要介绍实时金融数据湖在中原银行的应用。

Apache Flink·2023-11-05 17:51

Hive综合实例——陌陌聊天数据分析

基于Hive数仓实现需求开发--本地(指hive服务所在的主机)加载数据loaddatalocalinpath'/root/hivedata/data1.tsv'intotabledb_msg.tb_msg_source

爱吃薄荷糖的喵喵·2023-11-04 21:13

【Hadoop】四、Hadoop生态综合案例 ——陌陌聊天数据分析

文章目录四、Hadoop生态综合案例——陌陌聊天数据分析1、陌陌聊天数据分析案例需求1.1、背景介绍1.2、目标需求1.3、数据内容2、基于Hive数仓实现需求开发2.1、建库建表、加载数据2.2、ETL

陌上人如玉এ·2023-11-04 21:10

大数据之陌陌聊天数据分析案例

目录目标需求数据内容基于Hive数仓实现需求开发1.建库建表、加载数据2.ETL数据清洗3需求指标统计目标需求基于Hadoop和hive实现聊天数据统计分析，构建聊天数据分析报表1.统计今日总消息量2.

liyantower·2023-11-04 21:33

网易Impala集群优化和高可用负载均衡配置和虚拟数仓

网易Impala集群优化和高可用负载均衡配置和虚拟数仓①本文阅读了多篇文章整理润色而成，主要旨在解决impala分析型数仓在生产环境遇到的各种技术瓶颈。如何优化等一些列问题着手。

岁月的眸·2023-11-04 14:28

AWS组件使用

kafka或kinesis做数据收集S3+redshift做数仓EMR做计算RDS做数据市场AWSGlue/AWSDataPipeline做数据集成这些组件配合起来，几乎可以做各种方式的数据分析kinesis

Elivis Hu·2023-11-04 12:29

尚硅谷大数据项目《在线教育之实时数仓》笔记005

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第9章数仓开发之DWD层P031P032P033P034P035P036P037P038P039P040第9章数仓开发之DWD

upward337·2023-11-04 10:05

数据仓库之面试

可简单说下理解与思路3.数据仓库、数据中台、数据湖的理解4.传统数仓的程

2a0eebe006e6·2023-11-04 09:56

Hive 自定义函数

我们本篇就使用Hive中的自定义函数实现几种数仓搭建过程中的需求。Hive有哪些自定义函数？Hive中存在三种类型

Data-Developer·2023-11-04 06:52

Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库

这些都使得ApacheDoris成为报表分析、即席查询、统一数据仓库和数据湖查询加速等场景的理想工具。在ApacheDoris上，用户可以构建各种应用，如用户行为分析、AB测试平台

yue_stack·2023-11-04 05:32

Java数据结构Day3--用数组实现环形队列(实现复用性)

更新的晚了,这两天实时数仓已经开始着手了,代码量就不用提了,忙里偷闲.但是确实一点闲也没有,但是就凭着年轻,要挑战不可能.环形队列看了Day2的同学们肯定已经发现了,这个数组来实现的队列好像没有复用性,

徐一闪_BigData·2023-11-03 23:48

WMS系统之未来发展篇

目前，大多数仓储企业都已经采用了WMS系统，实现了仓库的自动化和信息化管理。然而，现有的WMS系统还存在一些问题，比如难以集成不同的硬件设备和软件系统，难以应对复

大连豪森智源·2023-11-03 09:15

数仓建模—数仓建设概论

数仓建设概论文章目录数仓建设概论什么是数据仓库数据仓库对企业的意义1.全面掌握企业数据2.支持企业的决策制定3.可靠性高怎么做数据仓库建1.需求分析2.设计数据仓库架构3.数据采集4.数据清洗5.数据结构设计

不二人生·2023-11-02 21:59

实时数仓-hologres使用总结

我们回顾下，Hologres是一款实时HSAP产品，隶属阿里自研大数据品牌MaxCompute，兼容PostgreSQL生态、支持MaxCompute数据直接查询，支持实时写入实时查询，实时离线联邦分析，低成本、高时效、快速构筑企业实时数据仓库（Real-TimeDataWarehouse）。具备如下优势：说明分析服务一体化PointQuery(毫秒级，用于api服务，类hbase,redis场景

高阳很捷迅·2023-11-02 18:57

[架构之路-250/创业之路-81]：目标系统 - 纵向分层 - 企业信息化的呈现形态：常见企业信息化软件系统 - 企业内的数据与数据库

数据库的基本概念1.7企业数据来源1.8企业数据架构二、常见的数据库类型2.1数据库分类2.1数据库类型2.2常见的数据库类型、应用场合和案例三、数据库、数据仓库和主题数据库比较3.1基本概念3.2比较3.3数据湖与数据仓库备注

文火冰糖的硅基工坊·2023-11-02 17:04

性能卓越全栈自主 HashData与华为金融数仓一体机联合方案全面解读

经过长期的服务与实践，HashData已形成面向金融核心业务的成熟数仓产品。

HashData酷克数据·2023-11-02 16:36

酷克数据出席永洪科技用户大会携手驱动商业智能升级

酷克数据作为国内云原生数仓代表企业，受邀出席本次大会，全面展示了云数仓领域最新前沿技术，并进行主题演讲。携手合作助力企业释放数据价值数据仓库是商业智能（BI）的核心组件，为BI提供高质量的数据支持。

HashData酷克数据·2023-11-02 16:33

硬件成本节省60%，四川华迪基于OceanBase的健康大数据数仓建设实践

导语：本文为四川华迪数据计算平台使用OceanBase替代Hadoop的实践，验证了OceanBase在性能和存储成本方面的优势：节省了60%的硬件成本，并将运维工作大幅减少，从Hadoop海量组件中释放出来；一套系统处理HTAP场景需求，简化了运维复杂度。作者简介：向平，现任四川华迪信息技术有限公司智慧医养研发部技术总监，主要负责智慧医养板块大数据和人工智能相关架构设计和团队管理工作。随着老龄化

OceanBase数据库官方博客·2023-11-02 08:22

B站数据质量保障体系建设与实践

疯狂创作者·2023-11-01 16:09

十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖、数仓一体化？

高并发、高可用解决方案，十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖

代码讲故事·2023-11-01 13:11

恒驰服务 | 华为云数据使能专家服务offering之数仓建设

数仓建设-适用场景恒驰数据仓库服务主要针对有数据仓库不同业务诉求的客户，通过服务增购的形式，提供数据仓库咨询或数据迁移服务，协助客户优化业务以及

恒云联盟·2023-11-01 03:34

hive数仓数据跨集群迁移

当前集群是在局域网环境，按要求要迁到阿里云集群上（阿里云的服务器，自己搭建的大数据集群），所以要把hive中的数仓数据迁移到新的集群上。

码道功成·2023-10-31 22:15

Java8实现批量生成数仓日期维度数据

公司最近要开始数仓建设，那数仓的一些基础维度表要先生成，这里介绍最重要的维度表之一日期维度表的生成。

码道功成·2023-10-31 22:14

进击的 Flink：网易云音乐实时数仓建设实践

作者|汪磊（网易云音乐/数据平台开发专家）整理|杨涛（Flink社区志愿者）如何基于Flink的新API升级实时数仓架构？

Apache Flink·2023-10-31 20:03

大数据实时（2）-BK的FLink实时数仓实践

1、发展历史从业务团队和大数据团队烟囱式的开发，到构建大数据平台，18年开始行动，速度还是可以的。18年Flink不太成熟，使用Sparkstreaming属于正常的选择范畴，同时，构建了任务调度平台+SQL开发平台，降低开发难度，提升开发效率，是一个不错的选择。随着任务增大，对于延迟、状态的管理、多任务的稳定性都有非常大的挑战，19年转向Flink，社区非常活跃，成果也非常多。在FLink的基础

天天沐沐·2023-10-31 16:08

大数据融合数仓场景化解决方案总结笔记

1.数据仓库与融合数仓数据库架构设计Shared-Disk各个处理单元使用自己的私有CPU和Memory，共享磁盘系统Shared-Everything一般是针对单个主机，完全透明共享CPU/Memory

BIN3399·2023-10-31 12:38

时序图数仓AbutionGraph场景应用

问题导读：1.AbutionGraph的业务背景是什么？2.AbutionGraph在公安金融有哪些应用场景？3.文中时序特征有哪些价值？GraphOLAM时序图数据库-AbutionGraph在公安金融领域的应用案例分享经侦经典业务举例：打击she税、洗qian、du-博-q庄等，通过调度数据，发现团伙、资金链条（资金交易行为特征分析），刻画xi钱fan罪、团huo经营轨迹，生成资金链，定位金主

000X000·2023-10-31 02:37

浅谈OLAP系统核心技术点

OLAP系统广泛应用于BI,Reporting,Ad-hoc,ETL数仓分析等场景，本文主要从体系化的角度来分析OLAP系统的核心技术点，从业界已有的OLAP中萃取其共性，分为谈存储，谈计算，谈优化器，

大数据技术架构·2023-10-31 01:49

每个大数据工程师都应该知道的OLAP 核心知识点

OLAP系统广泛应用于BI,Reporting,Ad-hoc,ETL数仓分析等场景，本文主要从体系化的角度来分析OLAP系统的核心技术点，从业界已有的OLAP中萃取其共性，分为谈存储，谈计算，谈优化器，

浪尖聊大数据-浪尖·2023-10-31 01:48

星环科技如何站稳脚跟？

2017-08-0808:00http://www.sohu.com/a/163011476_545428以Hadoop发行版起家的星环科技，已将产品线扩展到Hadoop生态下的全基础软件，分析型企业数仓和实时流处理是发力的重点

songroom·2023-10-31 00:40

hive一次补跑数据遇到的坑

补数是数仓从事人员经常会碰到的问题，比如修复了历史错误的逻辑，需要修复历史数据，这种行为称之为补数，首先补数一般针对的都是周期快照表，如果表无分区，压根就不需要补数。

愤怒的谜团·2023-10-30 23:53

分析师要懂的数仓知识

为什么学数据仓库工作中经常去数据库中找数据做分析，也和数仓同事对接过，做过一些表，但是只是对一些固定的事实和维度表熟悉，对数仓的整体架构、运作流程却没有一个大概的了解。

成鹏9·2023-10-30 22:57

奇富科技引领大数据调度革命：高效、稳定、实时诊断

刘坤元以一个数仓（数据仓库的简称，指用于存储、分析、报告的数据系统）同学熟知的起夜率指标开启了本次分

CSDN云计算·2023-10-30 21:09

大数据企业面试真题汇总三

（4）实时部分，canal监控主机，然后主机挂了，从机上位，这个过程中的数据变化咋办三百零二、（1）hive的优化（2）数仓分层及能否应用到公司投资业务上，需求实现（3）集群架构（

wespten·2023-10-30 19:57

电商API接口——实现数据同步的实时数据封装接口

常见的数据同步/集成场景多发生于不同的存储系统、不同的存储格式，如从mysql同步数据至数仓、excel或csv导入数据库中，但是众多数据同步解决方案很少涉及从http接口同步数据。

电商数据girl·2023-10-30 15:06

数仓建模基本类型

如果数据仓库中采用这种建模方式，还有另外的好处就是可以直接将关系型数据库中数据直接导入数仓，减少了很多的建模工作。三范式建模的一个显而易见的缺点就是查询性能，因为需要跨表查询。

浮zai梦里·2023-10-30 03:29

基于Flink的实时计算平台的构建

消息队列的数据既是离线数仓的原始数据，也是实时计算的原始数据，这样可以保证实时和离线的原始数据是统一的。

美得冒泡oooo·2023-10-30 01:51

数仓知识04：行转列、列转行的含义及SQL示例

在构建数仓或做数据分析时，需要对原始数据的结构进行一定的处理，有时涉及到“行转列”，有时涉及到“列转行”，那么这两个转换的方式具体是什么，有什么差异，今天给大家做一下讲解。

维克先生·2023-10-29 16:33

Spark系列 - 实时数仓之近1小时各个广告点击量实战（三）

为了资源共用，我们的数据和上一篇文章一样，这个实战案例的技术和思想在现实开发的需求中还是比较常见的，以广告为例子，需求是：需求：统计各广告最近1小时内的点击量趋势一、Kafka消费主题的数据[root@cdh101kafka]#bin/kafka-console-consumer.sh--bootstrap-servercdh101:9092,cdh102:9092,cdh103:9092--

小飞牛_666·2023-10-29 07:57

数据人员常用名词解析：指标、标签、度量、口径、数据标准、血缘等

GOD_WAR·2023-10-29 04:19

大数据CDC技术

在数据备份容灾、数据分发、面向数仓的数据集成等场景中广泛应用。在增量数据识别中，增量捕获能否实现更多依赖于源端系统。

shinelord明·2023-10-28 21:33

开源大数据OLAP引擎最佳实践

一、开源OLAP综述二、开源数仓解决方案三、ClickHouse介绍四、StarRocks介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样，不同种类的引擎满足了我们不同的需求

zhisheng_blog·2023-10-28 21:59

Python+大数据-hadoop(五)--数据仓库、Apache 01

Python+大数据-hadoop(五)–数据仓库、Apache01今日课程学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解

呆猛的呆呆小哥·2023-10-28 21:56

【大数据概述】Hadoop技术栈

与关系型数据库关系3.Hadoop3.1.概述3.2.Hadoop生态技术3.2.1.概述3.2.2.架构4.Spark4.1.概述4.1.1.统一的引擎5.数据存储及处理的发展5.1.数据仓库5.2.数仓

vk-fengz·2023-10-28 21:17

新手向：如何考虑将数据库技术和大数据框架结合使用？

数据湖构建：随着各种数据源的增加，组织需要一个集中的存储解决方案。大数据

Joy T·2023-10-28 21:23

Adventure项目python、数仓实现可视化看板总结

1.2项目操作流程image.png1.3项目流程框架BI项目流程框架.pngAdventure—BI看板根据上述项目介绍，以下主要从数仓获取数据、自动化py脚本处理、可视化报表搭建、自动化更新看板数据四方面

包哥宝爷小威武·2023-10-28 19:26

Flink SQL 在美团实时数仓中的增强与实践

摘要：本文整理自美团数据系统研发工程师董剑辉&美团数据系统研发工程师张彬，在FlinkForwardAsia2022平台建设专场的分享。本篇内容主要分为五个部分：FlinkSQL在美团SQL作业细粒度配置SQL作业变更支持从状态恢复SQL正确性问题排查能力建设未来展望点击查看直播回放和演讲PPT一、FlinkSQL在美团目前FlinkSQL在美团已有100+业务方接入使用，SQL作业数也已达到了5

Apache Flink·2023-10-28 14:57

实操指南 | Resource Queue如何实现对AnalyticDB PostgreSQL的资源管理？

在数据实时交互式分析、HTAP、ETL、BI报表生成等业务场景，ADBPG都有着独特的技术优势，在金融、物流、泛互联网等行业都有广泛的应用，是传统数仓上云、去O去T、替换自建Greenplum的标杆云上

阿里云云栖号·2023-10-28 03:59

推荐频道

数仓数据湖