数仓

数仓建模—数仓建设概论

数仓建设概论文章目录数仓建设概论什么是数据仓库数据仓库对企业的意义1.全面掌握企业数据2.支持企业的决策制定3.可靠性高怎么做数据仓库建1.需求分析2.设计数据仓库架构3.数据采集4.数据清洗5.数据结构设计
不二人生·2023-11-02 21:59

实时数仓-hologres使用总结

我们回顾下，Hologres是一款实时HSAP产品，隶属阿里自研大数据品牌MaxCompute，兼容PostgreSQL生态、支持MaxCompute数据直接查询，支持实时写入实时查询，实时离线联邦分析，低成本、高时效、快速构筑企业实时数据仓库（Real-TimeDataWarehouse）。具备如下优势：说明分析服务一体化PointQuery(毫秒级，用于api服务，类hbase,redis场景
高阳很捷迅·2023-11-02 18:57

性能卓越 全栈自主 HashData与华为金融数仓一体机联合方案全面解读

经过长期的服务与实践，HashData已形成面向金融核心业务的成熟数仓产品。
HashData酷克数据·2023-11-02 16:36

酷克数据出席永洪科技用户大会 携手驱动商业智能升级

酷克数据作为国内云原生数仓代表企业，受邀出席本次大会，全面展示了云数仓领域最新前沿技术，并进行主题演讲。携手合作助力企业释放数据价值数据仓库是商业智能（BI）的核心组件，为BI提供高质量的数据支持。
HashData酷克数据·2023-11-02 16:33

硬件成本节省60%，四川华迪基于OceanBase的健康大数据数仓建设实践

导语：本文为四川华迪数据计算平台使用OceanBase替代Hadoop的实践，验证了OceanBase在性能和存储成本方面的优势：节省了60%的硬件成本，并将运维工作大幅减少，从Hadoop海量组件中释放出来；一套系统处理HTAP场景需求，简化了运维复杂度。作者简介：向平，现任四川华迪信息技术有限公司智慧医养研发部技术总监，主要负责智慧医养板块大数据和人工智能相关架构设计和团队管理工作。随着老龄化
OceanBase数据库官方博客·2023-11-02 08:22

B站数据质量保障体系建设与实践

文章将关注数仓和建模的相关方法论，讲解B站数仓平台团队在数仓建设和建模过程中所做的工作，并分享质量保障方面取得的成果。一、背景目标首先，分享一下B站数据质量保障的背景和目标。
疯狂创作者·2023-11-01 16:09

十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖、数仓一体化？

高可用解决方案，十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖、数仓一体化
代码讲故事·2023-11-01 13:11

恒驰服务 | 华为云数据使能专家服务offering之数仓建设

数仓建设-适用场景恒驰数据仓库服务主要针对有数据仓库不同业务诉求的客户，通过服务增购的形式，提供数据仓库咨询或数据迁移服务，协助客户优化业务以及
恒云联盟·2023-11-01 03:34

hive数仓数据跨集群迁移

当前集群是在局域网环境，按要求要迁到阿里云集群上（阿里云的服务器，自己搭建的大数据集群），所以要把hive中的数仓数据迁移到新的集群上。
码道功成·2023-10-31 22:15

Java8实现批量生成数仓日期维度数据

公司最近要开始数仓建设，那数仓的一些基础维度表要先生成，这里介绍最重要的维度表之一日期维度表的生成。
码道功成·2023-10-31 22:14

进击的 Flink：网易云音乐实时数仓建设实践

作者|汪磊（网易云音乐/数据平台开发专家）整理|杨涛（Flink社区志愿者）如何基于Flink的新API升级实时数仓架构？
Apache Flink·2023-10-31 20:03

大数据实时（2）-BK的FLink实时数仓实践

1、发展历史从业务团队和大数据团队烟囱式的开发，到构建大数据平台，18年开始行动，速度还是可以的。18年Flink不太成熟，使用Sparkstreaming属于正常的选择范畴，同时，构建了任务调度平台+SQL开发平台，降低开发难度，提升开发效率，是一个不错的选择。随着任务增大，对于延迟、状态的管理、多任务的稳定性都有非常大的挑战，19年转向Flink，社区非常活跃，成果也非常多。在FLink的基础
天天沐沐·2023-10-31 16:08

大数据融合数仓场景化解决方案总结笔记

1.数据仓库与融合数仓数据库架构设计Shared-Disk各个处理单元使用自己的私有CPU和Memory，共享磁盘系统Shared-Everything一般是针对单个主机，完全透明共享CPU/Memory
BIN3399·2023-10-31 12:38

时序图数仓AbutionGraph场景应用

问题导读：1.AbutionGraph的业务背景是什么？2.AbutionGraph在公安金融有哪些应用场景？3.文中时序特征有哪些价值？GraphOLAM时序图数据库-AbutionGraph在公安金融领域的应用案例分享经侦经典业务举例：打击she税、洗qian、du-博-q庄等，通过调度数据，发现团伙、资金链条（资金交易行为特征分析），刻画xi钱fan罪、团huo经营轨迹，生成资金链，定位金主
000X000·2023-10-31 02:37

浅谈OLAP系统核心技术点

OLAP系统广泛应用于BI,Reporting,Ad-hoc,ETL数仓分析等场景，本文主要从体系化的角度来分析OLAP系统的核心技术点，从业界已有的OLAP中萃取其共性，分为谈存储，谈计算，谈优化器，
大数据技术架构·2023-10-31 01:49

每个大数据工程师都应该知道的OLAP 核心知识点

OLAP系统广泛应用于BI,Reporting,Ad-hoc,ETL数仓分析等场景，本文主要从体系化的角度来分析OLAP系统的核心技术点，从业界已有的OLAP中萃取其共性，分为谈存储，谈计算，谈优化器，
浪尖聊大数据-浪尖·2023-10-31 01:48

星环科技如何站稳脚跟？

2017-08-0808:00http://www.sohu.com/a/163011476_545428以Hadoop发行版起家的星环科技，已将产品线扩展到Hadoop生态下的全基础软件，分析型企业数仓和实时流处理是发力的重点
songroom·2023-10-31 00:40

hive一次补跑数据遇到的坑

补数是数仓从事人员经常会碰到的问题，比如修复了历史错误的逻辑，需要修复历史数据，这种行为称之为补数，首先补数一般针对的都是周期快照表，如果表无分区，压根就不需要补数。
愤怒的谜团·2023-10-30 23:53

分析师要懂的数仓知识

为什么学数据仓库工作中经常去数据库中找数据做分析，也和数仓同事对接过，做过一些表，但是只是对一些固定的事实和维度表熟悉，对数仓的整体架构、运作流程却没有一个大概的了解。
成鹏9·2023-10-30 22:57

奇富科技引领大数据调度革命：高效、稳定、实时诊断

刘坤元以一个数仓（数据仓库的简称，指用于存储、分析、报告的数据系统）同学熟知的起夜率指标开启了本次分
CSDN云计算·2023-10-30 21:09

大数据企业面试真题汇总三

（4）实时部分，canal监控主机，然后主机挂了，从机上位，这个过程中的数据变化咋办三百零二、（1）hive的优化（2）数仓分层及能否应用到公司投资业务上，需求实现（3）集群架构（
wespten·2023-10-30 19:57

电商API接口——实现数据同步的实时数据封装接口

常见的数据同步/集成场景多发生于不同的存储系统、不同的存储格式，如从mysql同步数据至数仓、excel或csv导入数据库中，但是众多数据同步解决方案很少涉及从http接口同步数据。
电商数据girl·2023-10-30 15:06

数仓建模基本类型

如果数据仓库中采用这种建模方式，还有另外的好处就是可以直接将关系型数据库中数据直接导入数仓，减少了很多的建模工作。三范式建模的一个显而易见的缺点就是查询性能，因为需要跨表查询。
浮zai梦里·2023-10-30 03:29

基于Flink的实时计算平台的构建

消息队列的数据既是离线数仓的原始数据，也是实时计算的原始数据，这样可以保证实时和离线的原始数据是统一的。
美得冒泡oooo·2023-10-30 01:51

数仓知识04：行转列、列转行的含义及SQL示例

在构建数仓或做数据分析时，需要对原始数据的结构进行一定的处理，有时涉及到“行转列”，有时涉及到“列转行”，那么这两个转换的方式具体是什么，有什么差异，今天给大家做一下讲解。
维克先生·2023-10-29 16:33

Spark系列 - 实时数仓之近1小时各个广告点击量实战（三）

  为了资源共用，我们的数据和上一篇文章一样，这个实战案例的技术和思想在现实开发的需求中还是比较常见的，以广告为例子，需求是：需求：统计各广告最近1小时内的点击量趋势一、Kafka消费主题的数据[root@cdh101kafka]#bin/kafka-console-consumer.sh--bootstrap-servercdh101:9092,cdh102:9092,cdh103:9092--
小飞牛_666·2023-10-29 07:57

数据人员常用名词解析：指标、标签、度量、口径、数据标准、血缘等

数据平台相关任务（Task）任务是对数据执行的操作的定义，示例如下：通过数据同步节点任务，将数据从RDS同步至数仓。通过SQL节点任务，运行SQL来进行数据的转换。
GOD_WAR·2023-10-29 04:19

大数据CDC技术

在数据备份容灾、数据分发、面向数仓的数据集成等场景中广泛应用。在增量数据识别中，增量捕获能否实现更多依赖于源端系统。
shinelord明·2023-10-28 21:33

开源大数据OLAP引擎最佳实践

一、开源OLAP综述二、开源数仓解决方案三、ClickHouse介绍四、StarRocks介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样，不同种类的引擎满足了我们不同的需求
zhisheng_blog·2023-10-28 21:59

Python+大数据-hadoop(五)--数据仓库、Apache 01

Python+大数据-hadoop(五)–数据仓库、Apache01今日课程学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解
呆猛的呆呆小哥·2023-10-28 21:56

【大数据概述】Hadoop技术栈

与关系型数据库关系3.Hadoop3.1.概述3.2.Hadoop生态技术3.2.1.概述3.2.2.架构4.Spark4.1.概述4.1.1.统一的引擎5.数据存储及处理的发展5.1.数据仓库5.2.数仓
vk-fengz·2023-10-28 21:17

Adventure项目python、数仓实现可视化看板总结

1.2项目操作流程image.png1.3项目流程框架BI项目流程框架.pngAdventure—BI看板根据上述项目介绍，以下主要从数仓获取数据、自动化py脚本处理、可视化报表搭建、自动化更新看板数据四方面
包哥宝爷小威武·2023-10-28 19:26

Flink SQL 在美团实时数仓中的增强与实践

摘要：本文整理自美团数据系统研发工程师董剑辉&美团数据系统研发工程师张彬，在FlinkForwardAsia2022平台建设专场的分享。本篇内容主要分为五个部分：FlinkSQL在美团SQL作业细粒度配置SQL作业变更支持从状态恢复SQL正确性问题排查能力建设未来展望点击查看直播回放和演讲PPT一、FlinkSQL在美团目前FlinkSQL在美团已有100+业务方接入使用，SQL作业数也已达到了5
Apache Flink·2023-10-28 14:57

实操指南 | Resource Queue如何实现对AnalyticDB PostgreSQL的资源管理？

在数据实时交互式分析、HTAP、ETL、BI报表生成等业务场景，ADBPG都有着独特的技术优势，在金融、物流、泛互联网等行业都有广泛的应用，是传统数仓上云、去O去T、替换自建Greenplum的标杆云上
阿里云云栖号·2023-10-28 03:59

Flink Streaming-Sink

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料100篇原创内容公众号圣诞节快乐该连接器提供了对Flink文件系统抽象支持的文件系统中的分区文件的访问.文件系统连接器本身就被包括在
hyunbar·2023-10-28 02:49

【遇见Doris】基于Doris的有道精品课数据中台建设实践

李荣谦有道精品课数据中台团队数据中台实时数仓负责人我们本次想要和大家分享一下有道精品课数据中台的架构演进过程，以及Doris作为一个MPP分析型数据库是如何为不断增长的业务体量提供有效支撑并进行数据赋能的
ApacheDoris·2023-10-28 02:44

如何基于 Apache Doris 与 Apache Flink 快速构建极速易用的实时数仓

为了适应业务快速迭代的特点，帮助企业提升数据生产和应用的时效性、进一步挖掘实时数据价值，实时数仓的构建至关重要。本文将分享如何基于ApacheDoris和ApacheFlink快速构建一个极速易
SelectDB技术团队·2023-10-28 02:40

搞流式计算，大厂也没有什么神话

只有一群年轻人，花了六年时间，一步一个脚印，从一开始的“不懂技术不懂业务”，最后承载起了字节内部流式计算平台以及应用场景的构建，支撑了机器学习平台、推荐、数仓、搜索、广告、流媒体、安全和风控等众多核心业务
字节跳动云原生计算·2023-10-27 23:23

幸福里基于 Flink & Paimon 的流式数仓实践

幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。
字节跳动云原生计算·2023-10-27 23:18

从数据仓库到数据中台，终于有人说清楚了

作者简介：王春波，《高效使用Greenplum：入门、进阶和数据中台》作者，“数据中台研习社”号主，十年数据开发从业者，资深零售数仓项目实施专家。
蚂蚁_8173·2023-10-27 12:25

又是第一！GBASE南大通用蝉联中国分析型数据库管理系统市场TOP1

在分析型数据库市场，GBASE自主研发的分布式逻辑数仓GBase8aMPPCluster与国外主流的数据仓库产品在金融、电信等领域同台竞技，技术实力领先，已在人民银行、中国农业银行总行、招商银
GBASE数据库·2023-10-27 08:47

万字详解数据质量那些事儿

在数据仓库建设的过程当中，大家是否会有这样的疑问:1）数仓分层模型是否需要严格遵守2）照本宣科建设的数仓貌似不好用3）如何评判一个数仓建设的质量好坏4）我的数据仓库还能做怎样的升级我们该如何解决这些问题
大数据兵工厂·2023-10-27 02:27

详解如何在数仓中管理元数据

‍‍‍‍大家好，元数据管理是企业数据治理的基础，是数据仓库建设的关键。作为一名数据人，首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位、场景及实践工具。01什么是元数据管理1、什么是元数据？元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（dataaboutdata）。抽象的描述：一组用于描述数据的数据组，该数据组的一切信息都描述了该
大数据技术派·2023-10-27 02:54

Clickhouse实时数仓建设

今天，笔者就为大家介绍如何使用Clickhouse来构建实时数仓，来满足一些实时性要求较高的使用场景。
程序猿小乙·2023-10-26 12:09

实时数仓Hologres 新一代弹性计算组实例技术揭秘

随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。
阿里云云栖号·2023-10-26 12:44

阿里云实时数仓Hologres年度发布，解读数仓新趋势

简介：阿里云实时数仓Hologres年度发布，解读数仓新趋势。
阿里云云栖号·2023-10-26 12:43

技术解读：实时数仓Hologres如何支持超大规模部署与运维

通过该评测，证明了阿里云实时数仓Hologres能够作为数据仓库和大数据平台的基础设施，可以满足用户建设大规模数据仓库和数据平台的需求，具备支撑关键行业核心业务数据平台的能力。
阿里云云栖号·2023-10-26 12:43

技术分享：从双11看实时数仓Hologres高可用设计与实践

简介：本文将会从阿里巴巴双11场景出发，分析实时数仓面临的高可用挑战以及针对性设计。2021年阿里巴巴双11完美落下为帷幕，对消费者来说是一场购物盛宴，对背后的业务支撑技术人来说，更是一场年度大考。
阿里云云栖号·2023-10-26 12:43

CCO x Hologres：实时数仓高可用架构再次升级，双11大规模落地

简介：本文将会介绍今年是如何在去年基础上进行实时数仓高可用架构升级，并成功大规模落地双11。
阿里云云栖号·2023-10-26 12:43

【附下载】实时数仓架构设计与选型

这是彭文华的第99篇原创好几位朋友在后台留言，说要看看各大厂都是咋玩实时数仓的。其实，实时数仓和离线数仓在模型设计的时候是一样一样的，只是需要计算引擎和存储不太一样而已。
大数据架构师Evan·2023-10-26 12:12
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他