数仓（

利用Flink CDC和Flink SQL构建实时数仓Flink写入Doris

软件环境Flink1.13.3Scala2.12doris0.14一、MySQL开启binlog日志、创建用户1.开启binlogMySQL8.0默认开启了binlog，可以通过代码showvariableslike"%log_bin%";查询是否开启了，showvariableslike"%server_id%";查询服务器ID。上图分别显示了binlong是否开启以及binlog所在的位置。2
lbship·2023-03-19 13:43

实时场景下的机器学习模型实时特征离线特征融合方案(踩坑笔记)

如果有实时数仓那还比较庆幸，如果没有的话，那就有点悲催了，从头趟一遍发现坑有点深啊，比那啥海沟还要深，没错就是挂在嘴边，又叫不出名字的
mtj66·2023-03-19 11:48

详述 Flink CDC 打通数据实时入湖！

在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖ApacheIceberg两种技术，来解决业务数据实时入湖相关的问题。
Richard123m·2023-03-19 11:43

流计算开发平台StreamPark安装

同时，StreamPark提供了一个流处理应用管理平台，核心能力包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等。官方网站
CodePhage·2023-03-19 11:40

Flink Mysql CDC结合Doris flink connector实现数据实时入库

FlinkMysqlCDC结合Dorisflinkconnector实现数据实时入库Apachedoris通过扩展支持通过Flink读写doris数仓中的数据表，目前doris支持Flink1.11.x
张家锋·2023-03-18 22:45

原创好文！聊聊数据域和主题域的区别

这篇文章跟大家一起聊下数仓中比较容易混淆的两个概念——数据域、主题域。
Data跳动·2023-03-18 02:41

Hologres揭秘:深度解析高效率分布式查询引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
阿里云Hologres·2023-03-17 11:26

大数据架构进阶目录

在此立下复习目录，分享多年的大数据开发和数仓经验，实现目标，共勉Flink开发(1.架构2.实时开发(项目案例代码)3.优化技巧4.面试常问原理)Spark开发(1.架构2.实时开发(项目案例代码)3.
风轻云淡lq·2023-03-17 10:13

基于oneData的数仓方法论

阿里oneData架构设计oneData是阿里巴巴内部进行数据整合和管理方法体系和工具。指导思想首先，要进行充分的业务调研和需求分析。其次，进行数据总体架构设计，主要是根据数据域对数据进行划分；按照维度建模理论，构建总线矩阵，抽象出业务过程和维度。再次，对报表需求进行抽象整理出相关指标体系，使用OneData工具完成指标规范定义和模型设计。最后，是代码研发和运维。其实施流程主要分为：数据调研、架构
眼君·2023-03-17 10:07

大数据 flume之Source

数仓学习中给自己总结一下：主要接触了三种Source：ExecSource、SpoolingDirectorySource和TaildirSource。
后浪普拉斯·2023-03-16 22:02

【北漂的第4个月】

不过认识了基础数仓的很多小伙伴。整个月都在努力做好一个小兵的角色，治丹变成了我们的leader，其实对未来的大方向还是挺迷茫的。中秋回家烫了个头，见了见柴，李辉，还帮做了个建模比赛。
深海suke·2023-03-15 15:43

[实战系列]SelectDB Cloud Flink Connector 最佳实践

而云原生实时数仓的出现，让传统的数据仓库无论是成本、灵活性还是开放性等方面都显露出不足。拥有高性能、高可用性、可伸缩性、高安全性等特征的云原生数据库，正在成为企业的首选。
hf200012·2023-03-15 07:04

[实战系列]SelectDB Cloud Datax 数据写入最佳实践

新一代云原生实时数仓SelectDBCloud作为一款运行于多云之上的云原生实时数据仓库，致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
hf200012·2023-03-15 07:03

实时数仓入门训练营：Hologres 数据导入/导出实践

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题
阿里开发者·2023-03-15 07:25

[实战系列]SelectDB Cloud Kafka Connect 最佳实践张家锋

新一代云原生实时数仓SelectDBCloud作为一款运行于多云之上的云原生实时数据仓库，致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
hf200012·2023-03-15 07:15

[实战系列]SelectDB Cloud Spark Connector 最佳实践

新一代云原生实时数仓SelectDBCloud作为一款运行于多云之上的云原生实时数据仓库，致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
hf200012·2023-03-15 07:14

DolphinScheduler2.0版本升级3.0版本方案

1.升级背景因项目需要使用数据质量模块功能，可以为数仓提供良好的数据质量监控功能。
缤纷的世界·2023-03-15 02:13

AntDB“超融合+流式实时数仓”，谈传统数据库与流计算的有机融合

（一）前言据统计，在信息化时代的今天，人们一天所接触到的信息量，是古人一辈子所能接收到的信息量的总和。当今社会中除了信息量“多”以外，人们对信息处理的“效率”和“速度”的要求也越来越高。譬如，对于很多企业决策者来说，在当前的经济形势下需要尽一切可能降本增效。过去每周看看经营报表的习惯，现在慢慢转变为利用实时可视化的方式来随时分析企业当前的经营状况。数据库作为信息的核心载体，在过去的半个世纪中，基本
亚信安慧AntDB数据库·2023-03-15 02:46

墨天轮发布数据库行业报告，亚信科技AntDB“超融合+流式实时数仓”开启新纪元

近日，知名数据库社区墨天轮发布《2022中国数据库行业年度分析报告》，亚信科技全新发布的“超融合+流式实时数仓”数据库AntDB入选报告并被业界广泛关注。
亚信安慧AntDB数据库·2023-03-15 02:15

漫谈数据治理之二：思想上的体系化

数据的滚雪球效应现代数仓体系中，数据数量的高速增长已经不是什么新鲜事了，在大数据的作用被业界所认知到后，几乎所有对于业务有价值的行为，都将以数据的形式被收集。
晓阳的数据小站·2023-03-14 15:54

浅谈一个新人的大数据之路

第一章，大数据之路浅谈数仓&数据集市&数据湖**数据仓库**：英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
CCCCCColdkl·2023-03-14 14:57

Apache Hudi简介、与Kudu、Hive、 HBase对比

数据实时处理和实时的数据实时分为处理的实时和数据的实时，即席分析是要求对数据实时的处理，马上要得到对应的结果，Flink、SparkStreaming是用来对实时数据的实时处理，数据要求实时，处理也要迅速，数据不实时，处理也不及时的场景则是我们的数仓
四月天03·2023-03-14 11:47

kettle8.0源码编译

kettle作为一款开源etl工具，在数据仓库领域的应用还算是比较广泛的，做过数仓的朋友应该都知道，在做etl开发的时候，对于参数变量的引用是时常出现的场景，对于一些公共的变量，kettle的做法是启动的时候默认读取用户目录下一个
paopaodaxia·2023-03-14 01:49

hive迷案之数据异常

经过：2018-04-02凌晨，数仓同学收到数据质量报警，某个字段的唯一性检查没有通过。一般情况下，这种问题是由脏数据引起的。然而这一次排查发现上游数据没有问题，于是数仓同学尝试直接
群演_·2023-03-12 14:49

电商数据仓库项目简介

项目简介基于hadoop生态搭建的电商数据仓库，整体功能架构包含数据采集、数仓搭建、数据导出、数据可视化等。
如虎添·2023-03-12 02:40

flink 学习笔记 — 基于 Flink 实时数仓的简单实践

作为一个实时计算的框架，Flink在实时数仓中发挥着越来越重要的作用。这里将以简单的案例，实现一个简单的数仓数据流。
飞不高的老鸟·2023-03-11 22:56

原来Canal也可以做HA?

前言在做实时数仓时，数据量往往比较大的，如果使用Canal来监听MySQL的状态当Canal是单节服务时，服务器挂掉是就会造成数据丢失，这时Canal恰好可以配置HA这样就能解决单点问题，但是依赖于zookeeper
大数据老哥·2023-03-11 22:26

Hive 拉链表实践

应用场景现假设有如下场景：一个企业拥有5000万会员信息，每天有20万会员资料变更，需要在数仓中记录会员表的历史变化以备分析使用，即
000X000·2023-03-11 03:00

数仓项目-拉链表技术精解

数仓项目-拉链表技术精解一、拉链表的使用场景在数据仓库的模型设计的过程中，通常我们会碰到那种非常大的业务基础信息表，如用户表；假如一个用户表有10亿条记录，50个列，就算使用orc压缩，但张表的存储也会超过
yiluohan0307·2023-03-11 03:29

历史拉链表实战

应用场景现假设有如下场景：一个企业拥有5000万会员信息，每天有20万会员资料变更，需要在数仓中记录会员表的历史变化以备分析使用，即每天都要保留一个快照供查询，
大数据技术与数仓·2023-03-11 03:53

详细记录拉链表的实现过程

面试中被问到了，想了会儿思路混乱没答好，还是理解的不够深刻，重新好好理解记录一下~拉链表的用途，主要是用来在数仓中记录业务库数据的全部历史信息和当前最新信息，也就是用来实现对渐变维的记录。
atwdy·2023-03-11 03:23

Flink系列之Flink的应用场景（二）

从接触数仓就开始听说ETL,ETL也始终贯传数仓仓库，问大家一个问题，ETL在数仓领域家喻户晓的原因是因为它简单吗？答案是：恰恰是因为其复杂和重要。那么ETL解决了什么问题呢？我们为什么需要ETL?
当_下·2023-03-10 23:26

hive整理-按照题目顺序--一

2.3数仓分层3.hive底层原理，sql执行过程3.1hive执行顺序3.2.1Hive执行流程3.2.1
wuli玉shell·2023-03-10 09:51

Hive-清洗出最新一个分区中新增和变化的数据

背景：大数据清晰后的大量数据(明细数据)同步到接口或者业务端使用问题描述每次全量同步费时又费力解决方案：将hive数仓中最近两个分区的数据取新增和变化后,同步到目标表中(支持更新)即可涉及hive关键字
_猫屎不是咖啡_·2023-03-10 09:50

数据仓库面试题总结

根据尚硅谷电商数仓4教程进行总结目录1Hadoop常用压缩方式2HDFS存在大量小文件的问题与处理3flume零点漂移问题4数据冗余的优缺点5同步策略6关系建模与维度建模7维度建模的四个过程8数据分层9LZO
迪奥不及你的美·2023-03-10 07:33

企业数仓拉链表制作

一、拉链表定义记录每条信息的生命周期，一旦一条记录的生命周期结束，就重新开始一条新的记录，并把当前日期放入生效开始日期。如果当前信息至今有效，在生效结束日其中填入一个极大值（如：9999-99-99）生效日期=某个日期二、为什么要做拉链表拉链表适合于：数据会发生变化，但是大多数的数据是不变的，即缓慢变化维比如:订单信息从未支付、已支付、未发货、已完成等状态经历了一周，大部分时间是不变化的，如果数据
比格肖·2023-03-09 18:05

数仓建设保姆级教程，离线和实时一网打尽(理论+实战)

本文大纲：因内容较多，带目录的PDF查看是比较方便的：数仓建设保姆级教程PDF文档一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？
园陌·2023-03-09 16:58

50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 上

文档大纲：一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。
浪尖聊大数据-浪尖·2023-03-01 07:14

50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 下

文档大纲：本文上半部分之前已经发过了，传送门：50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战)上此篇文章是整个文档的下半部分，将接着上半部分从第五章开始。
浪尖聊大数据-浪尖·2023-03-01 07:14

【SQL开发实战技巧】系列（二十二）：数仓报表场景☞ 从分析函数效率一定快吗聊一聊结果集分页和隔行抽样实现方式

系列文章目录【SQL开发实战技巧】系列（一）:关于SQL不得不说的那些事【SQL开发实战技巧】系列（二）：简单单表查询【SQL开发实战技巧】系列（三）：SQL排序的那些事【SQL开发实战技巧】系列（四）：从执行计划讨论UNIONALL与空字符串&UNION与OR的使用注意事项【SQL开发实战技巧】系列（五）：从执行计划看IN、EXISTS和INNERJOIN效率，我们要分场景不要死记网上结论【SQ
赵延东的一亩三分地·2023-03-01 07:06

【平台数仓设计——2023】

平台数仓设计——2023前言一、选取大数据平台1、CDH大数据平台2、HDP大数据平台3、CDP大数据平台4、各种云数据中台二、选取调度平台1、DolphinScheduler(海豚调度)2、AzKaban3
BigData_LYT·2023-02-27 18:44

我从银行数仓项目学到了什么

|后台回复“银行数仓”，下载论文数据分析当下十分流行，但能把数据分析出花来的，本文算的上先驱。做数仓的朋友，年底汇报时，写不出总结，在老板面前无功可表时，学学这。
dbLenis·2023-02-26 07:24

银行数仓体系发展之路

银行的数字化实践必须建设好数仓体系。数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
易观·2023-02-26 07:54

离线数仓04—— 用户行为数据同步

文章目录第1章实时数仓同步数据第2章离线数仓同步数据2.1用户行为数据同步2.1.1数据通道2.1.2日志消费Flume配置概述2.1.3日志消费Flume配置实操2.1.4日志消费Flume测试2.1.5
就是这个范~·2023-02-26 07:54

维度建模详解

合并2事实表设计2.1明细事实表(dwd)2.1.2案例：2.1.3存储方案2.1.4事实拉链表示例：2.2聚合事实表(dws)2.2.1分类2.2.2案例3数据集市4业务数据案例4.1数据采集4.2数仓设计
Fouradam·2023-02-26 07:23

【实时数仓】介绍、需求分析、统计架构分析和ods层日志行为数据采集

文章目录一电商实时数仓介绍1普通实时计算与实时2实时电商数仓分层二实时数仓需求分析1离线计算与实时计算的比较2应数场景（1）日常统计报表或分析图中需要包含当日部分（2）实时数据大屏监控（3）数据预警或提示
OneTenTwo76·2023-02-26 07:23

36 大数据项目之电商数仓（集群监控Zabbix）

文章目录第1章Zabbix入门1.1Zabbix概述1.2Zabbix基础架构第2章Zabbix部署2.1集群规划2.2准备工作2.2.1关闭集群2.2.2关闭防火墙（3台节点，已关闭）2.2.3关闭SELinux（hadoop102）重启生效2.3配置Zabbixyum源（3台节点）2.3.1安装yum源2.3.2修改为阿里云镜像2.4安装Zabbix2.5配置Zabbix2.5.1创建zabb
普通网友·2023-02-26 07:48

▼ 系列 | 漫谈数仓第四篇NO.4 『BI选型』

大数据时代商业智能（BI）和数据可视化诉求更为强烈，淘宝大屏更是风靡全球！数据可视化是大数据『最后一公里』，BI唤醒沉睡的数据。传统型BI力求大而全的统一综合型报表和分析平台，侧重传统式报表开发，俨然一把屠龙刀。现互联网公司快速迭代的业务发展，需要的却是倚天剑，促使自助式BI和敏捷BI得以迅速发展。时代召唤，传统BI巨头也逐渐向自助式BI和云BI转型。一时间，数据可视化和BI呈现出"百家争鸣，百花
浪尖聊大数据-浪尖·2023-02-26 07:48

维度建模方法论

维度建模方法一、前言本人学习《数仓工具箱》的学习总结，纯学习分享，供大家参考。二、经典数仓架构理论围绕着维度建模，那就不得不了解，早期的数据仓库构架方法。这里介绍一下两个经典的数仓架构理论。
清风和月明·2023-02-26 07:47

数仓建模理论--维度建模

总线架构：维度建模的数据仓库中，有一个概念叫BusArchitecture，中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构（MD）中的三个关键性概念之一，另两个是一致性维度（ConformedDimension）和一致性事实（ConformedFact）。一致性维度和事实，企业数据仓库应该建立一个一致性维度和事实，而不是为每个部门建立维度和事实。一致性维度：具有一致的维度关键字
Dylan ZhaoHT·2023-02-26 07:47
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他