数仓学习专栏

大数据测试 - 数仓测试

一、数仓分层设计标准数仓分为ODS,DWD,DIM,DWS,ADS等，每一层都有自己的含义：ODS：存储原始业务数据,数据原封不动同步到到ODS,不做任何修改，并且备份，备份时可以压缩；DWD：数据清洗
loveysuxin·2023-04-07 22:37

数据仓库分层原理

而数仓就是做这些海量数据存储的地方。数据仓库简介数据仓库是一个面向主题的、集成的
Linux小百科·2023-04-07 22:39

数据仓库原理&实战【1】

文章目录一、数仓的诞生背景1.1数仓诞生原因1.2基本概念数据仓库（DataWarehouse,DW）数据仓库特点数据仓库与数据库的区别1.3技术实现1.3.1数据仓库建设方案1.3.2传统数据仓库1.3.3
Txixi·2023-04-07 21:21

数仓建设-架构&建模

数据模型三要素2.2.3数据模型分类，以旅客身份识别为例2.3维度建模工作过程2.3.1数据调研2.3.2数据域划分2.3.3构建总线矩阵2.3.4规范定义2.3.5模型设计2.3.6总结近两年有一部分工作是在数仓建模的工作
Walter_Silva·2023-04-07 21:48

数据仓库原理 - 概念、架构、建模方法

目录1、介绍1.1数据仓库诞生原因1.2数据仓库概述1.3数仓的技术实现1.4MPP&分布式架构MPP架构分布式架构MPP+分布式架构1.5常见产品2、架构2.1架构图ETLODSCDMADS2.2ETL
海星？海欣！·2023-04-07 21:45

go语言入门-一文带你掌握go语言函数

前言本文go语言入门-掌握go语言函数收录于《go语言学习专栏》专栏，此专栏带你从零开始学习go语言。
我是沐风晓月·2023-04-07 21:34

大数据开发零基础需要学习什么内容？（1）Java、大数据基础

所以也就出现了大数据开发工程师、数仓工程师、ETL工程师
程序员老金·2023-04-07 16:45

使用maxscale及mha搭建mysql主从同步、读写分离、高可用集群

尝试使用mysql存储部分数仓结果，需要满足高可用、读写分离等需求，尝试过mycat、atlas、maxscale这3个代理服务，前两个不适合：mycat:新建数据库需要修改配置参数，这一点对于动态建库的场景很痛苦
吉甫作诵·2023-04-07 16:57

数仓--DW--Hadoop数仓实践Case-15-无事实的事实表

无事实的事实表概述在多维数据仓库建模中，有一种事实表叫做“无事实的事实表”。普通事实表中，通常会保存若干维度外键和多个数字型度量，度量是事实表的关键所在。然而在无事实的事实表中没有这些度量值，只有多个维度外键。表面上看，无事实的事实表是没有意义的，因为作为事实表，毕竟最重要的就是度量。但在数据仓库中，这类事实表有其特殊用途。无事实的事实表通常用来跟踪某种事件或者说明某些活动的范围。无事实的事实表可
李小李的路·2023-04-07 15:11

《数据仓库工具箱》读书笔记（一）：维度建模初步

第一章数据仓库、商业智能及维度建模初步一、数据仓库与商业智能的目标1、方便地保存数据2、数据一致性3、适应变化4、及时展现数据5、信息安全6、数据权威7、支撑业务二、数仓管理者的职责1、理解业务理解用户
kaiker·2023-04-07 12:32

【电商数仓】数仓搭建之明细数据（data warehouse detail -- DWD）层（用户行为数据之曝光、错误日志表、数据加载脚本，业务数据之评价、订单事实表）

文章目录一曝光日志表1思路解析2建表语句3数据导入4查看数据二错误日志表1思路解析2建表语句3数据导入4查看数据三DWD层用户行为数据加载脚本四DWD层业务数据概述五评价事实表（事务型事实表）1分区设计2建表语句3数据导入（1）首日导入（2）每日导入六订单明细事实表（事务型事实表）1分区设计2建模语句3数据导入（1）首日装载（2）每日装载一曝光日志表**曝光日志解析思路：**曝光日志表中每行数据对
OneTenTwo76·2023-04-07 10:41

离线电商数仓-用户行为采集平台-第3章 用户行为日志

前言本博客是学习记录，可能存在错误，仅供参考。如发现错误，欢迎在评论区指正，我会及时修改。同时也希望大家能在评论区多和我讨论，或者私信我，讨论可以让我们学习效率更高。现在的版本不是最终版本，我会在学习过程中不断地更新。第3章用户行为日志3.1用户行为日志概述埋点：是收集用户的各项行为信息以及行为所处的环境信息的手段分类如下：****代码埋点****是通过调用埋点SDK函数，在需要埋点的业务逻辑功能
书墨客·2023-04-07 10:38

Go语言基础：数组定义及循环遍历

前言大家好，我是沐风晓月，本文go语言入门-掌握go语言函数收录于《go语言学习专栏》专栏，此专栏带你从零开始学习go语言，持续更新中，欢迎点赞收藏。
我是沐风晓月·2023-04-07 03:57

数仓实战|一文看懂数据中台接口数据采集

作者简介：王春波，《高效使用Greenplum：入门、进阶和数据中台》作者，“数据中台研习社”号主，十年数据开发从业者，资深零售数仓项目实施专家。
weixin_44166276·2023-04-07 01:35

第3.7章：StarRocks数据导入--Broker Load

一、BrokerLoad背景基于Hadoop生态的传统数仓目前仍拥有非常大的用户群体，为此StarRocks加入了BrokerLoad导入方式，让我们可以方便的从HDFS类的外部存储系统（ApacheHDFS
流木随风·2023-04-07 01:02

数仓第二章作业

数仓第二章作业文章目录数仓第二章作业习题习题1、设数据集A=1，1，3，3，4，5，5，5，6
-北天-·2023-04-07 01:00

数仓第五章作业

数仓第五章作业文章目录数仓第五章作业一、在OLAP的5个特征FASMI中，那两个是OLAP的关键特性？二、多维数据分析有哪几个基本分析操作？
-北天-·2023-04-07 01:00

海睿思分享 | 浅谈数仓指标体系管理

//1数仓指标的构成❖数据域数据域是统一数仓层的顶层划分，是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，面向业务分析，一个数据域对应一个宏观分析领域，比如采购域、供应链域、HR
海睿思·2023-04-07 01:53

数仓第七章作业

数仓第七章作业文章目录数仓第七章作业一、第七章课后作业第三题第四题第五题第六题第七题二、问题一、第七章课后作业第三题设有10个二元属性，3个数据对象的数据集。
-北天-·2023-04-07 01:48

数仓--Theory--数仓数据质量监控

暂时定义为数仓的质量管理，完全可以定义为数据中台的质量管理数据质量的理解数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。
李小李的路·2023-04-07 00:25

Flink+Clickhouse在广投集团实时数仓的最佳实践

Flink+Clickhouse实时数仓在广投集团的最佳实践一、业务背景由于历史原因，大型集团企业往往多个帐套系统共存，包括国内知名ERP厂商浪潮、用友、金蝶、速达所提供的财务系统，集团财务共享中心的财务人员在核对财务凭证数据时经常需要跨多个系统查询且每个系统使用方式不一
Wping_1c08·2023-04-06 23:55

Springboot +Mybatis + DynamicDataSource 根据数据库实现数据源配置和切换

DynamicDataSource动态数据源需求：数仓项目需要大致检验数据同步的正确性，应用数据库MySQL有多台，数仓数据库Postgres数据库一台。
JasonalLy6·2023-04-06 23:58

数仓设计流程规范 2020-05-29

1.系统分析，确定主题确定一下几个因素：·操作出现的频率，即业务部门每隔多长时间做一次查询分析。·在系统中需要保存多久的数据，是一年、两年还是五年、十年。·用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。·用户所能接受的响应时间是多长、是几秒钟，还是几小时。2.选择满足数据仓库系统要求的软件平台选择合适的软件平台，包括数据库、建模工具、分析工具等。有许多因素要考虑，如系统对数据量、
迷藏_·2023-04-06 17:13

新一代数仓架构-Snowflake弹性数仓

作业：张剑本文是基于国外论文snowflake数仓(TheSnowflakeElasticDataWarehouse)翻译而成，翻译中有错误地方，还望海涵。曾经在过往记忆微信公众号发布过。
一弦思华年·2023-04-06 16:00

瞰见 | 初创1个月就融到3亿美金，ClickHouse 你凭什么？

-北岛或许是受巴菲特参投的纳斯达克热门公司-云上数仓Snowflake的催化，开源数据库ClickHouse社区也终于在2021年8月注册成立了商业化公司，紧接着不到2个月的时间内，以惊人的速度完成了A
OpenTEKr·2023-04-06 15:35

正确设计Hologres实时数仓，性能提升10倍+

本文将会讲述阿里巴巴零售通数据平台如何优化Hologres实时数仓，达到性能提升10倍+的效果，完美支撑双11营销活动、实时数据大屏等核心场景。
阿里云Hologres·2023-04-06 14:47

ETL中遇到的小问题：Invalid column type

时间：2019-08-23背景：业务需求，需将Mysql源库中一表A同步到数仓oracle中，工具依然选用pentahokettle8.2。问题：没想到被遇到的一个小问题耽误了许久。步入正题。
小糊涂神52vol·2023-04-06 12:38

# 在线教育项目——数仓实战（三）之访问咨询主题看板（全量流程）

文章目录1.需求分析2.业务数据准备3.建模分析4.建模操作4.1数据存储格式和压缩方案4.2全量和增量4.3Hive分区4.4建模操作5.Hive的基础优化（目前无需更改）5.1HDFS的副本数量5.2yarn的基础配置5.3MapReduce基础配置5.4Hive的基础配置5.5Hive压缩的配置5.6Hive的执行引擎切换6.数据采集7.数据清洗转换8.数据分析9.数据导出1.需求分析将调研
爱吃薄荷糖的喵喵·2023-04-06 12:10

ETL工具与调度工具的区别（一）

简而概之就是，将数据从数据源进行抽取、进行清洗转换、最后加载到数仓模型中，在数据仓库中起到了承前启后的作用。常见的ETL工具有：kettle、RestCloud、informat
Moia Control·2023-04-06 10:52

数据仓库模型说明

1.数仓概述数据仓库的建设是一个过程，而不是一个项目。在这个过程中我们需要形成自己的规范，以方便管理和维护。
高广超·2023-04-06 09:02

【袋鼠云】标签系统

文章目录客户画像标签建设的演进1.业务单元独立作战2.离线数仓统一建设3.实时数据多维补充4.标签产品化管理5.数据智能化管理标签体系设计与加工一、标签体系设计1.数据梳理2.基于OLP模型体系化梳理标签
七号大米·2023-04-06 03:49

大数据架构师须知—基础知识点

大数据架构师须知—基础知识点结合BI,Reporting,Ad-hoc,ETL数仓分析等场景，从体系化的角度来分析OLAP系统的核心技术点，分为谈存储，谈计算，谈优化器，谈趋势4个章节。
kalvin_y_liu·2023-04-06 03:38

爱奇艺的数仓架构

首先介绍一下爱奇艺公司整体的业务情况以及数据仓库1.0的设计和出现的问题，针对数仓1.0的缺陷，是如何演进到数仓2.0架构以及数仓2.0需要解决的问题和需要达成的目标。
javastart·2023-04-06 01:31

如何设置python2，python3，并添加环境变量

公众号后续将会持续更新clickhouse，sparkstreaming，flink，数仓建模，用户画像，实时计算，推荐系统，实时数仓等内容，感兴趣的朋友可以关注不定期会有朋友的面经分享1、添加python2
大数据私房菜·2023-04-05 23:14

数仓Hive和分布式计算引擎Spark多整合方式实战和调优方向

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统@目录*概述SparkonHiveHiveonSpark概述编译Spark源码配置调优思路编程方向分组聚合优化join优化
qq_43479892·2023-04-05 22:23

万字详解大数据架构新概念

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？
开源Linux·2023-04-05 17:20

数据湖：网易严选的数据湖实践

1.数据湖vs数据仓库2.数据湖的优势五、落地实践六、数据集成七、数仓建设八、特征工程九、未来规划一、业务背景网易严选在2017年中开始搭建自己的大数据体系，如今该体系已经支撑了严选的商业分析、搜索、推荐
Freedom3568·2023-04-05 17:09

hive hsql 漏斗模型_191_数仓项目_dwd层_Hive读取索引文件问题

该项目以国内电商巨头实际业务应用场景为依托，紧跟大数据主流需求，对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解，让你迅速成长，获取最前沿的技术经验。
weixin_39746794·2023-04-05 14:31

Flink-Flink新闻数仓实时项目(新闻指标计算、Flink知识的练手小项目)

新闻实时项目1项目需求分析和架构设计背景某新闻网站每天会曝光很多新闻话题，当用户浏览网站的新闻时会产生大量的访问日志。为了更好的分析用户行为，并对舆情进行监控，现在需要实现一个新闻热搜实时分析系统。需求（1）采集搜狗新闻网站用户浏览日志信息。（2）统计分析搜狗排名最高的前10名新闻话题。分组聚合后求前10（3）统计分析每天哪些时段用户浏览新闻量最高。分组聚合后求max（4）统计分析每天曝光搜狗新闻
:Concerto·2023-04-05 13:07

大数据项目实战之数据仓库：数仓数据同步策略——第3章 数仓环境准备

文章目录第3章数仓环境准备3.1Hive安装部署3.2Hive元数据配置到MySQL3.2.1拷贝驱动3.2.2配置Metastore到MySQL3.3启动Hive3.3.1初始化元数据库3.3.2启动
yiluohan0307·2023-04-05 10:10

2.Hadoop环境配置之虚拟机安装配置

1.VMware1.1VMware安装一台电脑本身是可以装多个操作系统的，但是做不到多个操作系统切换自如，所以我们需要一款软件帮助我们达到这个目的，不然数仓项目搭建不起来。
Mr李小四·2023-04-04 22:43

Databend 开源周报 第 79 期

Databend是一款强大的云数仓。专为弹性和高效设计。自由且开源。即刻体验云服务：https://app.databend.com。
Databend·2023-04-04 21:10

Databend 开源周报第 80 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.com。
Databend·2023-04-04 21:10

Databend 开源周报 第 82 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.com。
Databend·2023-04-04 21:10

Databend 开源周报 第 83 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.com。
Databend·2023-04-04 21:10

Databend 开源周报第 84 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.com。
Databend·2023-04-04 21:10

Databend 开源周报 第 85 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.com。
Databend·2023-04-04 21:10

Databend 开源周报第 81 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.com。
Databend·2023-04-04 21:40

Databend 开源周报 第 75 期

Databend是一款强大的云数仓。专为弹性和高效设计。自由且开源。即刻体验云服务：https://app.databend.com。
Databend·2023-04-04 21:39

Databend 开源周报第 76 期

英文版移步：https://databend.rs/blog/2023-01-11-databend-weeklyDatabend是一款强大的云数仓。专为弹性和高效设计。自由且开源。
Databend·2023-04-04 21:39
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他