数仓学习专栏第36页

pyspark null类型在 json.dumps(null) 之后，会变为字符串‘null‘

在将hive数仓数据写入MySQL时候，有时我们需将数据转为json字符串，然后再存入MySQL。

小何才露尖尖角·2023-04-09 16:20

Unity 热更新技术 | （二） AssetBundle - 完整系列教程学习

博客主页：https://xiaoy.blog.csdn.net本文由呆呆敲代码的小Y原创，首发于CSDN学习专栏推荐：Unity系统学习专栏游戏制作专栏推荐：游戏制作Unity实战100例专栏推荐：Unity

呆呆敲代码的小Y·2023-04-09 15:59

C++函数新思想和标准的输入和输出

欢迎来观看温柔了岁月.c的博客目前设有C++学习专栏C语言项目专栏数据结构与算法专栏目前主要更新C++学习专栏，C语言项目专栏不定时更新待C++专栏完毕，会陆续更新C++项目专栏和数据结构与算法专栏一周主要三更

温柔了岁月.c·2023-04-09 12:27

大数据项目之电商数据仓库系统回顾

实训目的三、操作环境四、实训过程（实训内容及主要模块）五、实训中用到的课程知识点六、实训中遇到的问题及解决方法七、课程实训体会与心得八、程序清单一、实训课题大数据项目之电商数据仓库系统二、实训目的完成一个电商数仓项目

三月枫火·2023-04-09 11:31

5.2.2 电商离线数仓项目实战【下】（任务调度系统Airflow）

电商离线数仓项目实战【下】文章目录电商离线数仓项目实战【下】第二部分任务调度系统Airflow第1节Airflow简介1.1、体系架构1.2、重要概念第2节Airflow安装部署2.1、安装依赖2.2、

weixin_47134119·2023-04-09 10:38

成功解决: 大数据验证注意规范

数仓分ods源业务数据层、dwd、dws指标层、adm应用数据层一、发散验证（数据唯一性检查）如：按月和组织粒度（联合主键）、存在同一个月+同一个组织多条记录selectmonth_id,organ_id

iBigder·2023-04-09 08:26

英语怎么成为能力？3个高频词链接新概念和考研真题，这是创造

于是，马不停的做了5个视频，作为对新概念英语第二册第1课的学习专栏。为什么做新概念英语第二册，因为新概念英语系列教材4本，第二册是承上启下的，第二册学的好，对于英语的基本能力就有了一个好的基础。

英语的桥和船·2023-04-09 08:24

AB测试平台的那些事

最近一段时间在负责公司AB测试平台的建设过程中，调研了很多竞品的通用做法，其中涉及到的数据整体解决方案，包括AB测试数据采集与数仓模型、AB测试指标建设、AB测试可视化方案等，借此机会我把自己总结下来的经验分享给大家

一个数据人的自留地·2023-04-09 04:21

离线数仓和实时数仓架构对比

一、数仓的实时需求与离线需求的比较1【离线数仓需求】就是在计算开始前已知所有输入数据，输入数据不会产生变化，一般计算量级较大，计算时间也较长。例如今天早上一点，把昨天累积的日志，计算出所需结果。

万里长江横渡·2023-04-08 20:18

电商离线数仓项目-用户行为数仓(活跃/新增/留存主题)

用户行为数仓指标用户活跃主题日活周活月活用户新增主题日新增用户用户留存主题电商离线数仓项目,分四层搭建,基本框架搭建好了之后,编写具体的需求.这些需求主要是在DWS层和ADS层两层进行搭建。

梦里Coding·2023-04-08 20:17

大数据项目离线数仓（全）二（数仓系统）

本文仅仅包含数据仓库系统的搭建，其他内容请关注我的博客！在专栏里！！！本篇文章参考尚硅谷大数据项目写成！目录一、数据仓库系统1.1基础概念1.1.1数据分层的好处1.1.2数据分层1.1.3数据集市和数据仓库1.1.4OLTP和OLAP1.1.5关系建模与维度建模1.1.6事实表和维度表1.1.7维度建模分类1.1.8数据仓库建模1.2软件工具的安装配置1.2.1安装datagrip1.3系统搭建

一个人的牛牛·2023-04-08 20:16

离线数仓 (二) --------- 项目需求及架构设计

目录一、项目需求分析二、项目框架1.技术选型2.系统数据流程设计3.框架版本选型4.服务器选型5.集群规模6.集群资源规划设计一、项目需求分析A、项目需求用户行为数据采集平台搭建业务数据采集平台搭建数据仓库维度建模分析，设备、会员、商品、地区、活动等电商核心主题，统计的报表指标近100个。采用即席查询工具，随时进行指标分析对集群性能进行监控，发生异常需要报警。元数据管理质量监控权限管理B、思考题项

在森林中麋了鹿·2023-04-08 20:12

离线数仓建设，企业大数据的业务驱动与技术实现丨03期直播回顾

原文链接：离线数仓建设，企业大数据的业务驱动与技术实现丨03期直播回顾视频回顾：点击这里课件获取：点击这里一、离线数仓建设背景离线数据是相对实时数据而言的数据产出，不同于实时数据，离线数据一般是T+1天处理

袋鼠云数栈·2023-04-08 20:06

离线数仓数据可靠性的问题

1.如何检测?使用脚本统计日志服务器上的采集的日志文件的行数与HDFS上的目标存储目录中的文件的行数,进行对比2.如何保证数据的不丢失?日志采集网络架构设计为两层第一级采用了tailDirSource,fileChannel,avroSink的搭配,第二级采用了avroSource,fileChannel,hdfsSink的搭配tailDirSource实现了flume的事务机制,并且可以记录偏移

JinVijay·2023-04-08 20:05

离线数仓项目, 数仓理论(概要, 建模方法, 数仓分层, 模型介绍,元数据), 数仓设计(需求分析, 数据埋点, 指标体系, 架构设计(方案选型,逻辑架构, 物理环境, 命名规范))

目录PB级企业电商离线数仓项目实战【上】项目背景第一部分数据仓库理论第1节数据仓库1.1什么是数据仓库1.2数据仓库四大特征1.3数据仓库作用1.4数据仓库与数据库的区别1.5数据集市第2节数据仓库建模方法

javastart·2023-04-08 20:03

数分-理论-大数据6-Hive

数分-理论-大数据6-Hive（数据仓库）(数据分析系列)文章目录数分-理论-大数据6-Hive（数据仓库）1知识点2具体内容2.1数据仓库2.1.1起源2.1.2数仓概念2.1.3体系结构2.1.4存在挑战

yxyibb·2023-04-08 19:17

从数据仓库到数据中台，终于有人说清楚了

作者简介：王春波，《高效使用Greenplum：入门、进阶和数据中台》作者，“数据中台研习社”号主，十年数据开发从业者，资深零售数仓项目实施专家。

weixin_44166276·2023-04-08 12:02

数仓建设保姆级5W字教程，离线实时一网打尽（理论+实战）

文档大纲一、数仓基本概念1、数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。

浪尖聊大数据-浪尖·2023-04-08 12:29

大数据项目之电商数仓DataX、DataX简介、DataX支持的数据源、DataX架构原理、DataX部署

文章目录1.DataX简介1.1DataX概述1.2DataX支持的数据源2.DataX架构原理2.1DataX设计理念2.2DataX框架设计2.3DataX运行流程2.4DataX调度决策思路2.5DataX与Sqoop对比3.DataX部署3.1下载DataX安装包并上传到hadoop102的/opt/software3.2解压datax.tar.gz到/opt/module3.3自检，执行

Redamancy_06·2023-04-08 09:14

数据库仓工具箱及阿里大数据之路--阅读总结

5、总结在数仓建设中需要避免的

1静1一·2023-04-08 09:18

浅谈OLAP系统各个核心技术点

0、前言OLAP系统广泛应用于BI、Reporting、Ad-hoc、ETL数仓分析等场景，本文主要从体系化的角度来分析OLAP系统的核心技术点，从业界已有的OLAP中萃取其共性，分为谈存储，谈计算，谈优化器

Impl_Sunny·2023-04-08 06:12

数仓--DW--Hadoop数仓实践Case-13-周期快照事实表

周期快照概述周期快照事实表中的每行汇总了发生在某一标准周期，如一天、一周或一月的多个度量。其粒度是周期性的时间段，而不是单个事务。周期快照事实表通常包含许多数据的总计，因为任何与事实表时间范围一致的记录都会被包含在内。在这些事实表中，外键的密度是均匀的，因为即使周期内没有活动发生，通常也会在事实表中为每个维度插入包含0或空值的行。周期快照在库存管理和人力资源系统中有比较广泛的应用。商店的库存优化水

李小李的路·2023-04-08 05:18

大数据测试 - 数仓测试

一、数仓分层设计标准数仓分为ODS,DWD,DIM,DWS,ADS等，每一层都有自己的含义：ODS：存储原始业务数据,数据原封不动同步到到ODS,不做任何修改，并且备份，备份时可以压缩；DWD：数据清洗

loveysuxin·2023-04-07 22:37

数据仓库分层原理

而数仓就是做这些海量数据存储的地方。数据仓库简介数据仓库是一个面向主题的、集成的

Linux小百科·2023-04-07 22:39

数据仓库原理&实战【1】

文章目录一、数仓的诞生背景1.1数仓诞生原因1.2基本概念数据仓库（DataWarehouse,DW）数据仓库特点数据仓库与数据库的区别1.3技术实现1.3.1数据仓库建设方案1.3.2传统数据仓库1.3.3

Txixi·2023-04-07 21:21

数仓建设-架构&建模

数据模型三要素2.2.3数据模型分类，以旅客身份识别为例2.3维度建模工作过程2.3.1数据调研2.3.2数据域划分2.3.3构建总线矩阵2.3.4规范定义2.3.5模型设计2.3.6总结近两年有一部分工作是在数仓建模的工作

Walter_Silva·2023-04-07 21:48

数据仓库原理 - 概念、架构、建模方法

目录1、介绍1.1数据仓库诞生原因1.2数据仓库概述1.3数仓的技术实现1.4MPP&分布式架构MPP架构分布式架构MPP+分布式架构1.5常见产品2、架构2.1架构图ETLODSCDMADS2.2ETL

海星？海欣！·2023-04-07 21:45

go语言入门-一文带你掌握go语言函数

前言本文go语言入门-掌握go语言函数收录于《go语言学习专栏》专栏，此专栏带你从零开始学习go语言。

我是沐风晓月·2023-04-07 21:34

大数据开发零基础需要学习什么内容？（1）Java、大数据基础

所以也就出现了大数据开发工程师、数仓工程师、ETL工程师

程序员老金·2023-04-07 16:45

使用maxscale及mha搭建mysql主从同步、读写分离、高可用集群

尝试使用mysql存储部分数仓结果，需要满足高可用、读写分离等需求，尝试过mycat、atlas、maxscale这3个代理服务，前两个不适合：mycat:新建数据库需要修改配置参数，这一点对于动态建库的场景很痛苦

吉甫作诵·2023-04-07 16:57

数仓--DW--Hadoop数仓实践Case-15-无事实的事实表

无事实的事实表概述在多维数据仓库建模中，有一种事实表叫做“无事实的事实表”。普通事实表中，通常会保存若干维度外键和多个数字型度量，度量是事实表的关键所在。然而在无事实的事实表中没有这些度量值，只有多个维度外键。表面上看，无事实的事实表是没有意义的，因为作为事实表，毕竟最重要的就是度量。但在数据仓库中，这类事实表有其特殊用途。无事实的事实表通常用来跟踪某种事件或者说明某些活动的范围。无事实的事实表可

李小李的路·2023-04-07 15:11

《数据仓库工具箱》读书笔记（一）：维度建模初步

第一章数据仓库、商业智能及维度建模初步一、数据仓库与商业智能的目标1、方便地保存数据2、数据一致性3、适应变化4、及时展现数据5、信息安全6、数据权威7、支撑业务二、数仓管理者的职责1、理解业务理解用户

kaiker·2023-04-07 12:32

【电商数仓】数仓搭建之明细数据（data warehouse detail -- DWD）层（用户行为数据之曝光、错误日志表、数据加载脚本，业务数据之评价、订单事实表）

文章目录一曝光日志表1思路解析2建表语句3数据导入4查看数据二错误日志表1思路解析2建表语句3数据导入4查看数据三DWD层用户行为数据加载脚本四DWD层业务数据概述五评价事实表（事务型事实表）1分区设计2建表语句3数据导入（1）首日导入（2）每日导入六订单明细事实表（事务型事实表）1分区设计2建模语句3数据导入（1）首日装载（2）每日装载一曝光日志表**曝光日志解析思路：**曝光日志表中每行数据对

OneTenTwo76·2023-04-07 10:41

离线电商数仓-用户行为采集平台-第3章用户行为日志

前言本博客是学习记录，可能存在错误，仅供参考。如发现错误，欢迎在评论区指正，我会及时修改。同时也希望大家能在评论区多和我讨论，或者私信我，讨论可以让我们学习效率更高。现在的版本不是最终版本，我会在学习过程中不断地更新。第3章用户行为日志3.1用户行为日志概述埋点：是收集用户的各项行为信息以及行为所处的环境信息的手段分类如下：****代码埋点****是通过调用埋点SDK函数，在需要埋点的业务逻辑功能

书墨客·2023-04-07 10:38

Go语言基础：数组定义及循环遍历

前言大家好，我是沐风晓月，本文go语言入门-掌握go语言函数收录于《go语言学习专栏》专栏，此专栏带你从零开始学习go语言，持续更新中，欢迎点赞收藏。

我是沐风晓月·2023-04-07 03:57

数仓实战|一文看懂数据中台接口数据采集

作者简介：王春波，《高效使用Greenplum：入门、进阶和数据中台》作者，“数据中台研习社”号主，十年数据开发从业者，资深零售数仓项目实施专家。

weixin_44166276·2023-04-07 01:35

第3.7章：StarRocks数据导入--Broker Load

一、BrokerLoad背景基于Hadoop生态的传统数仓目前仍拥有非常大的用户群体，为此StarRocks加入了BrokerLoad导入方式，让我们可以方便的从HDFS类的外部存储系统（ApacheHDFS

流木随风·2023-04-07 01:02

数仓第二章作业

数仓第二章作业文章目录数仓第二章作业习题习题1、设数据集A=1，1，3，3，4，5，5，5，6

-北天-·2023-04-07 01:00

数仓第五章作业

数仓第五章作业文章目录数仓第五章作业一、在OLAP的5个特征FASMI中，那两个是OLAP的关键特性？二、多维数据分析有哪几个基本分析操作？

-北天-·2023-04-07 01:00

海睿思分享 | 浅谈数仓指标体系管理

//1数仓指标的构成❖数据域数据域是统一数仓层的顶层划分，是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，面向业务分析，一个数据域对应一个宏观分析领域，比如采购域、供应链域、HR

海睿思·2023-04-07 01:53

数仓第七章作业

数仓第七章作业文章目录数仓第七章作业一、第七章课后作业第三题第四题第五题第六题第七题二、问题一、第七章课后作业第三题设有10个二元属性，3个数据对象的数据集。

-北天-·2023-04-07 01:48

数仓--Theory--数仓数据质量监控

暂时定义为数仓的质量管理，完全可以定义为数据中台的质量管理数据质量的理解数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。

李小李的路·2023-04-07 00:25

Flink+Clickhouse在广投集团实时数仓的最佳实践

Flink+Clickhouse实时数仓在广投集团的最佳实践一、业务背景由于历史原因，大型集团企业往往多个帐套系统共存，包括国内知名ERP厂商浪潮、用友、金蝶、速达所提供的财务系统，集团财务共享中心的财务人员在核对财务凭证数据时经常需要跨多个系统查询且每个系统使用方式不一

Wping_1c08·2023-04-06 23:55

Springboot +Mybatis + DynamicDataSource 根据数据库实现数据源配置和切换

DynamicDataSource动态数据源需求：数仓项目需要大致检验数据同步的正确性，应用数据库MySQL有多台，数仓数据库Postgres数据库一台。

JasonalLy6·2023-04-06 23:58

数仓设计流程规范 2020-05-29

1.系统分析，确定主题确定一下几个因素：·操作出现的频率，即业务部门每隔多长时间做一次查询分析。·在系统中需要保存多久的数据，是一年、两年还是五年、十年。·用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。·用户所能接受的响应时间是多长、是几秒钟，还是几小时。2.选择满足数据仓库系统要求的软件平台选择合适的软件平台，包括数据库、建模工具、分析工具等。有许多因素要考虑，如系统对数据量、

迷藏_·2023-04-06 17:13

新一代数仓架构-Snowflake弹性数仓

作业：张剑本文是基于国外论文snowflake数仓(TheSnowflakeElasticDataWarehouse)翻译而成，翻译中有错误地方，还望海涵。曾经在过往记忆微信公众号发布过。

一弦思华年·2023-04-06 16:00

瞰见 | 初创1个月就融到3亿美金，ClickHouse 你凭什么？

OpenTEKr·2023-04-06 15:35

正确设计Hologres实时数仓，性能提升10倍+

本文将会讲述阿里巴巴零售通数据平台如何优化Hologres实时数仓，达到性能提升10倍+的效果，完美支撑双11营销活动、实时数据大屏等核心场景。

阿里云Hologres·2023-04-06 14:47

ETL中遇到的小问题：Invalid column type

时间：2019-08-23背景：业务需求，需将Mysql源库中一表A同步到数仓oracle中，工具依然选用pentahokettle8.2。问题：没想到被遇到的一个小问题耽误了许久。步入正题。

小糊涂神52vol·2023-04-06 12:38

# 在线教育项目——数仓实战（三）之访问咨询主题看板（全量流程）

文章目录1.需求分析2.业务数据准备3.建模分析4.建模操作4.1数据存储格式和压缩方案4.2全量和增量4.3Hive分区4.4建模操作5.Hive的基础优化（目前无需更改）5.1HDFS的副本数量5.2yarn的基础配置5.3MapReduce基础配置5.4Hive的基础配置5.5Hive压缩的配置5.6Hive的执行引擎切换6.数据采集7.数据清洗转换8.数据分析9.数据导出1.需求分析将调研

爱吃薄荷糖的喵喵·2023-04-06 12:10

推荐频道

数仓学习专栏

pyspark null类型 在 json.dumps(null) 之后，会变为字符串‘null‘