数仓学习专栏第46页

数仓知识02：星型模型、雪花模型、星座模型

构建数仓的过程中，我们会接触到“星型模型”、“雪花模型”、“星座模型”的概念，对于在这个领域没有相关知识积累的人，可能会感觉到很困惑，今天就对这三个名词进行概念讲解，并简单说一下如何选择，期望大家看完能够有所帮助

维克先生·2023-01-14 16:41

数仓知识06：什么是元数据？

1.概念元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（dataaboutdata），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。举几个简单例子:如果一本书是一个“数据"，那么它的书名、封面、出版社、作者、总页码就是它的“元数据”。如果一个电影是一个“数据”，那么它的总时长、制作人、总导演、演员列表就是它的“元数据

维克先生·2023-01-14 16:41

【Java编程进阶】Java异常详解

橙子_·2023-01-14 14:45

【Pandas数据处理100例】（八十五）：Pandas将DataFrame数据转化成字典数据

正在更新中~✨我的项目环境：平台：Windows10语言环境：python3.7编译器：PyCharmPandas版本：1.3.5Numpy版本：1.19.3『精品学习专栏导航帖』【Pandas数据处理

Bi 8 Bo·2023-01-14 12:50

数仓的主题和主题域应该怎么划分？

一、前言从上面的引言里面，我们其实可以知道主题在数仓建设里面绝对是很重要的一环，这的确是的。数仓在建设过程中，对数据的组织管理上，不仅仅要进行横向的分层，也需要根据业务情况进行纵向的主题域划分。

catydidd·2023-01-13 09:55

数仓(四)：数据建模：如何构建主题域/面向主题的建模

数据仓库十大主题；TeraData金融数据模型数据仓库十大主题；TeraData金融数据模型_Jackie的博客-CSDN博客一、什么是主题数仓主题(Subject)是在较高层次上将企业信息系统中中某一分析对象的数据进行综合

四月天03·2023-01-13 09:24

数仓实践：浅谈 Kimball 维度建模

我们不管是基于Hadoop的数据仓库（如Hive），还是基于传统MPP架构的数据仓库（如Teradata），抑或是基于传统Oracle、MySQL、SQLServer关系型数据库的数据仓库，其实都面临如下问题：怎么组织数据仓库中的数据？怎么组织才能使得数据的使用最为方便和便捷？怎么组织才能使得数据仓库具有良好的可扩展性和可维护性？Kimball维度建模理论很好地回答和解决了上述问题。维度建模理论和

云祁·2023-01-13 09:52

数据仓库系列（三）数仓分层的意义价值及如何设计数据分层

文章目录一、前言二、数仓建模三、数仓分层四、数仓的基本特征五、数据仓库用途六、数仓分层的好处七、如何分层一、前言现在说数仓，更多的会和数据平台或者基础架构搭上，已经融合到整个基础设施的搭建上。

云祁·2023-01-13 09:21

数仓建设：数据域和主题域是什么关系？

为什么会有域的概念呢？首先来看看数据仓库的定义吧，数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。主题域已经体现出来了主题域用于将数据集市按照分析视角进行划分，通常是联系较为紧密的数据主题的集合。可以根据业务的关注点，将这些数据主题划分至不同的主题域。当然，还有另外一种说法。数据仓库是面向主题（数据综合、归类并进行分析利用的抽象）的应用。数据仓库模型设计除横

云祁·2023-01-13 09:20

深度学习专栏 - lesson 1 / 初试江湖（深度学习和Python语言概览及环境搭建

最近确实也闲来无事,于是笔者也顺应时代的潮流,打算瞅一瞅深度学习,说到深度学习其实很多人想到的是神经网络,自然语言理解,很多高大上的名词,笔者也想从这篇博客开始来记录一下自己的学习历程,也希望能够给大家提供一些帮助whatis深度学习？DeepLearning,这个deep其实说的就是深层神经网络,神经网络其实真的是炒的很老的一个概念了,深度学习也是神经网络二次翻红以后取的新的高大上的名字,毕竟如

_付宏·2023-01-13 08:36

深度强化学习专栏 —— 1.研究现状

戳这里猜你想看：深度强化学习专栏——1.研究现状深度强化学习专栏——2.手撕DQN算法实现CartPole控制深度强化学习专栏——3.实现一阶倒立摆pybullet杂谈：使用深度学习拟合相机坐标系与世界坐标系坐标变换关系

bug404_·2023-01-13 08:02

深度学习专栏

回归实战代码解析importtorchimportmatplotlib.pyplotasplt#画图用的importrandom#生成随机数importosos.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"#y=wx+b#一般一维的称为向量，二维的，多维的称为矩阵#创建数据defcreate_data(w,b,data_num):#w是一个向量，b也是一个向量，da

小磊的乐园·2023-01-13 08:31

026 数据仓库

1、数据仓库数仓分层：ODS(OperationalDataStore)直接存放原始数据，DWD(DataWarehouseDetail)对数据进行清洗，DWS(DataWarehouseService

小哥哥咯·2023-01-12 19:00

DAP数仓模型及数据集成过程说明

科技飞速发展的时代，企业信息化建设会越来越完善，越来越体系化，当今数据时代背景下更加强调、重视数据的价值，以数据说话，通过数据为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自助模式的数据分析成果，以数据驱动决策。数据分析，无论是现在的互联网企业，还是传统型企业，都需要数据分析。公司需要决定一些发展方向或者推出某种新型产品时，就需要数据分析来将一些凌乱的数据进行整合汇总，从而判断出具体

数通畅联·2023-01-12 19:59

DAP组件外部服务开发说明

DAP数据分析平台主要是为了满足企业数据分析的需要而开发的一款产品，不同于一般的BI平台，DAP数据分析平台更侧重数据的聚合，平台预置有数据源注册、ODS注册与管理、数仓配置与数据聚合，从而实现企业业务数据的统一

数通畅联·2023-01-12 19:59

DAP质量校验实现及数据应用说明

DAP数据分析平台就是通过企业中的数据构建数仓，把从业务系统中获取的数据进行高效采集、校验、计算等操作，将有价值的数据以可视化或者数据服务的形式进行展现或者提供出去，能够帮助企决策者可用通过分析出来

数通畅联·2023-01-12 19:57

企业的数据存储、处理与分析之道

12月30日，SelectDB携手阿里云共同举办云数仓专场沙龙，在线上沙龙中，来自SelectDB和阿里云的四位云计算领域专家，深入数仓的发展现状和未来趋势，结合企业级的真实场景落地案例，对技术和产品进行了详细的解读

·2023-01-12 17:14

数据仓库的模型设计流程

数仓模型设计的整体流程涉及需求调研、模型设计、开发测试、模型上线四个主要环节，且规范设计了每个阶段的输出与输入文档。

数仓大山哥·2023-01-12 12:29

黑马Hive+Spark离线数仓工业项目--项目总结

Grafana集成MySQL监控目标：实现Grafana集成MySQL监控实施选择模板导入报表项目总结：背景需求目标：掌握一站制造的项目背景及项目需求路径-step1：行业背景-step2：项目需求实施项目行业：工业互联网大数据：物联网项目名称：加油站服务商数据运营管理平台-参考别的项目：商业化大数据分析平台：神策公司产品：加油机设备服务公司客户：中石化，中石油，中海油、壳牌，道达尔……整体需求需

骨灰级收藏家·2023-01-12 11:26

海量数据下查询慢、数据不一致难题如何解？看某游戏公司的技术实践

某游戏公司就面临这样的困境，在寻求解决方案的过程中，携手OceanBase搭建了存储与实时分析的一体化数仓架构，替换了ClickHouse，Hive。

OceanBase数据库官方博客·2023-01-11 22:27

阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践

作者：徐闻春（花名陌奈）阿里妈妈事业部技术专家本文整理至Flink+Hologres实时数仓Workshop北京站，点击查看视频回放>>>阿里妈妈数据引擎团队负责广告营销计算引擎Dophin的开发，目前支撑百万级广告主的营销产品

·2023-01-11 11:19

数据仓库基础知识(维度建模)

数仓是一个面向主题、集成的、相对稳定、反应历史变化的数据集合，随着大数据技术的发展，其作用不再局限于决策分析、还可以为业务应用、审计、追踪溯源等多方面提供数据支撑，帮助企业完成数字化转型。

大数据点滴·2023-01-11 06:14

万亿数据秒级响应，Apache Doris 在360 数科实时数仓中的应用

作者｜360数科中间件团队编辑整理｜SelectDB作为以人工智能驱动的金融科技平台，360数科携手金融合作伙伴，为尚未享受到普惠金融服务的优质用户提供个性化的互联网消费金融产品，致力于成为连接用户与金融合作伙伴的科技平台。360数科旗下产品主要有360借条、360小微贷、360分期等，截止目前，已累计帮助141家金融机构为4300万用户提供授信服务、为2630万用户提供借款服务、单季促成交易金额

SelectDB技术团队·2023-01-10 12:23

离线数仓搭建_14_DWT数据构建

文章目录15.0数仓搭建-DWT层15.1访客主题15.2用户主题15.3商品主题15.4优惠券主题15.5活动主题15.6地区主题15.7DWT层首日数据导入脚本15.8DWT层每日数据导入脚本上文访问

Fang GL·2023-01-09 15:50

【Java编程进阶】封装继承多态详解

橙子!·2023-01-08 16:38

离线数仓分析

离线数仓分析第一步、获取数据源（1）安装nginx（2）上传shop.html文件到/var/www/html目录（3）在浏览器通过192.168.1.11（自己的id）/shop.html访问网页产生日志

^ω^菁菁·2023-01-08 13:08

大数据之离线数仓项目搭建（一）

数据仓库搭建文章目录数据仓库搭建1、开启hadoop的权限验证2、在hive中创建数据库3、在hdfs中创建5个目录4、在linux中创建5个用户5、将目录权限赋值给不同用户6、修改hive权限7、在ods中创建表8、将四个表的数据上传到hdfs9、增加分区10、为每一个用户在hdfs中创建一个目录11、DWD层-位置融合表12、DWS层-停留表13、维表接入1、将维表数据导入到mysql--in

纯欲天花板_·2023-01-08 13:53

Clickhouse+Spark+Flink一体化实时数仓（开源）

Clickhouse+Spark+Flink一体化实时数仓（开源）模拟环境配置2核心4g腾讯云（spark默认只有300mb内存占用最大处理200w行数据）因cdh6已经收费并且不开源。

qq_37401291·2023-01-08 13:19

基于Flink+Hive+Kafka的流批一体数仓实践--01架构及思想

基于Flink+Hive+Kafka的流批一体数仓实践–01架构及思想最近阅读了李劲松老师的一篇文章，决定基于他的思想实践一把。为什么需要实时数仓？

问道2020·2023-01-08 12:01

黑马Hive+Spark离线数仓工业项目-服务器性能监控Prometheus

监控需求及常见工具目标：了解服务器性能监控需求及常见监控工具路径-step1：监控需求-step2：常见工具实施监控需求-问题：数据量越来越大，机器数量越来越多，如何保证所有服务器稳定的的运行，确保所有业务不掉线？-资源：CPU、内存、磁盘、网络-阈值：80%-解决：高效的监控系统可以对运维数据进行分析整理，将运维工作透明化可视化，方便运维人员及时找出问题，保障系统稳定运行，提高运维效率，满足不同

骨灰级收藏家·2023-01-08 12:58

以“升舱”之名，谈谈云原生数据仓库 AnalyticDB 的核心技术

阿里云企业级云原生数据仓库AnalyticDB（以下简称ADB）[1]在帮助以金融机构为主的行业数字化转型和传统数仓升级项目中，也引用了“升舱（仓）”这个概念。

阿里云云栖号·2023-01-08 10:50

实时数仓构建系统的设计与实践

1-导读本文介绍58信安基于Flink实现低代码实时数仓构建系统，我们将数仓构建这一过程进行抽象，通过工程化的思想去解决，将固有领域问题交给系统，让开发人员关注数据本身，解放人力缩短数仓构建周期。

000X000·2023-01-08 10:50

以“升舱”之名，谈谈云原生数据仓库AnalyticDB的核心技术

阿里云企业级云原生数据仓库AnalyticDB（以下简称ADB）[1]在帮助以金融机构为主的行业数字化转型和传统数仓升级项目中，也引用了“升舱（仓）”这个概念。

阿里云技术·2023-01-08 10:49

美团点评基于 Flink 的实时数仓建设实践

引言近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过Flink引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架Flink与Storm的性能对比》，对Flink和Storm俩个引擎的计算性能进行了比较。本文主要阐述使用Flink在实际数据生产上的经验。实时平台初期架构在实时数据系统

zxfBdd·2023-01-08 10:16

【统一数据开发平台】-OLAP分析平台和实时数仓实践和优化

一、业务背景BIGO是一家面向海外的以短视频直播业务为主的公司,目前公司的主要业务包括BigoLive(全球直播服务)，Likee(短视频创作分享平台)，IMO(免费通信工具)三部分，在全球范围内拥有4亿用户。伴随着业务的发展，对数据平台处理能力的要求也是越来越高，平台所面临的问题也是日益凸显，接下来将介绍BIGO大数据平台及其所面临的问题。BIGO大数据平台的数据流转图如下所示：用户在APP，W

Impl_Sunny·2023-01-08 10:16

基于 Flink 的实时数仓建设实践

实时平台初期架构在实时数据系统建设初期，由于对实时数据的需求较少，形成不了完整的数据体系。我们采用的是“一路到底”的开发模式：通过在实时计算平台上部署Storm作业处理实时数据队列来提取数据指标，直接推送到实时应用服务中。图1初期实时数据架构但是，随着产品和业务人员对实时数据需求的不断增多，新的挑战也随之发生。数据指标越来越多，“烟囱式”的开发导致代码耦合问题严重。需求越来越多，有的需要明细数据，

高个子男孩·2023-01-08 10:15

知乎案例分享: 万字详解用户画像与实时数仓的架构与实践

文章目录1.前言1.1名词解释1.2实时数据与用户画像与各业务的结合2.面临的挑战和痛点2.1有价值2.2数据实效性2.3接口实时性2.4复杂性3.实践及经验分享3.1整体业务架构3.2实时数据的数据架构选型3.3应用层建设经验分享3.3.1实时数据系统01业务场景02面临的困难03解决方案3.3.2用户画像系统DMP01业务场景02面临的困难03解决方案04效果05待提升3.4工具层建设经验分享

Pushkin.·2023-01-08 10:44

实时数仓方案

2、实时数仓方案2.1、为何需要实时数仓架构随着数据量的增大，传统数据的方案在时效性上和数据维护上变得越来越困难。实时数仓架构应运而生。

jerry-89·2023-01-08 10:41

数仓建设规范指南

本文将全面讲解数仓建设规范，从数据模型规范，到数仓公共规范，数仓各层规范，最后到数仓命名规范，包括表命名，指标字段命名规范等！

jerry-89·2023-01-08 10:41

数仓分层、设计、建模、架构

一、数仓分层误区数仓层内部的划分不是为了分层而分层，分层是为了解决ETL任务及工作流的组织、数据的流向、读写权限的控制、不同需求的满足等各类问题。

jerry-89·2023-01-08 10:11

流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓

作者：董伟柯——腾讯云大数据产品中心高级工程师概述ApacheFlink是流式计算处理领域的领跑者。它凭借易用、高吞吐、低延迟、丰富的算子和原生状态支持等优势，多方位领先同领域的开源竞品。同样地，ClickHouse是OLAP在线分析领域的一颗冉冉新星，它拥有极其出众的查询性能，以及丰富的分析函数，可以助力分析师灵活而迅速地挖掘海量数据的价值。然而金无足赤，人无完人，每个组件都有自己擅长和不擅长的

腾讯云大数据·2023-01-08 10:10

腾讯云原生实时数仓建设实践

腾讯云原生实时数仓建设实践实时数仓面临的挑战实时数仓被广泛应用于腾讯各大业务，涉及的平台众多，从统计信息中可以看出，集群规模庞大，数据量极大。

腾讯云大数据·2023-01-08 10:10

知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。

chiweiwei2710·2023-01-08 10:10

Hologres助力AliExpress双11实时数仓升级

简介：本篇将重点介绍Hologres在阿里巴巴AliExpress的最佳实践，并助力AliExpress实时数仓升级，节约成本近50%，提效300%。

阿里开发者·2023-01-08 10:39

StarRocks × Apache Flink：如何构建简单强大的实时数仓架构

当前在构建实时数仓时，由于数据源的多样性，需要使用不同的采集工具，如Flume、Canal、Logstash。对于不同的业务，我们通常会采用不同的分析引擎。

StarRocks_labs·2023-01-08 10:09

黑马Hive+Spark离线数仓工业项目-任务流调度工具AirFlow（2）

Oracle与MySQL调度方法目标：了解Oracle与MySQL的调度方法实施Oracle调度：参考《oracle任务调度详细操作文档.md》-step1：本地安装Oracle客户端-step2：安装AirFlow集成Oracle库-step3：创建Oracle连接-step4：开发测试query_oracle_task=OracleOperator( task_id='oracle_o

骨灰级收藏家·2023-01-08 10:37

实时数仓，为什么不可代替？

什么是实时数据仓库？它有哪些不可替代之处？大数据时代中，数据仓库解决了商业智能分析过程中的数据管理问题，但是存在烟囱式、冗余高的弊端随着商业智能的兴起和数据时代的到来，越来越多的企业开始汇总、整合和分析自身的业务大数据，从中挖掘出有价值的知识信息，支撑商业决策。相比于早年的信息初时代，不由让人感叹一句，时代变了。大数据时代的一个显著特征就是企业会面临数据源多、结构复杂的问题，为了更好地业务大数据实

jerry-89·2023-01-08 10:05

数据分析师的个人感悟

文章目录一、数据分析师特点二、技术要求2.1数仓2.2SQL2.3python数据分析2.4数据可视化2.5报告呈现2.6数据产品化2.7小结三、从业务角度看数分类型3.1运营岗3.2商业分析岗3.3产品分析

赵杰_2022·2023-01-07 19:48

指标分析的步骤

1、思考产品类型，梳理业务流程许多数仓的项目，前期做的需求分析，包括demo设计，功能性需求和非功能性需求。指标来源有两个，一个是各部门提供的文档需求，一个是跟业务部门沟通后产生的。

qq_37301790·2023-01-07 14:27

【新年新姿势第一弹】腾讯云EMR数仓建设教程发布——与尚硅谷强强联手带你全方位了解大数据组件

腾讯云开发者社区带着干货来了，腾讯云×尚硅谷大数据研究院强强联手，重磅推出新年第一弹：腾讯云EMR数仓教程发布腾讯云开发者社区“公开课”直达：腾讯云开发者公开课-腾讯云开发者社区-腾讯云这套教程由腾讯云官方与尚硅谷大数据研究院联合推出

·2023-01-06 16:56

推荐频道

数仓学习专栏