数仓模型设计

Model Inspector—软件模型静态规范检查工具

包括规范检查、复杂度度量，提供MAAB、HIS、CG、MISRA_AC_SLSF、MISRA_AC_TL、dSPACE标准规范及检查，检查Simulink、Targetlink等模型是否符合建模标准、评估模型设计的合理性
经纬恒润·2023-11-14 07:03

数据仓库、数仓分层 01

1.数据仓库的基本概念数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（DecisionSupport）。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。2.数据仓库的主要
啊策策·2023-11-14 06:17

数仓分层的好处

分层好处：1，复杂问题简单化：将复杂的任务分解成多层来完成，每一层只处理简单的任务，方便定位问题2，减少重复开发：规范数据分层，通过中间层数据，能够减少极大的重复计算，增加计算一次的结果的重复性3，隔离原始数据：不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开数据集市和数据仓库的区别：数据集市是微型数据仓库，通常有更少的数据，更少的主题，更少的历史数据，是部门级别的，一般只能为某个局部
Alienware^·2023-11-14 06:17

数仓分层总结

数据仓库分为四层ods、dwd、dws、adsods层上是一些原始的数据，存放原始数据，直接加载原始日志、数据（事件表），保持数据原貌不作处理，也就是做一个备份的作用，不要解析数据创建支持LZO压缩的表：减少存储空间100g_10g\5g单双json创建分区表：防止全表扫描（导数据：全量、新增、新增和变化）dwd层是根据ods层表进行解析，然后清除脏数据，敏感信息的处理例如身份证脱敏，掩码、加密、
月升11·2023-11-14 06:41

数据仓库之数仓分层及hive分层

目录一、数据仓库之数仓分层（一）为什么要分层？
javastart·2023-11-14 06:09

简单搞定数仓搭建:数仓分层

我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，OperationDataStore）、数据公共层（CDM，CommonDataModel）和数据应用层（ADS，ApplicationDataService）。数据仓库的分层和各层级用途如下图所示。数据引入层ODS（OperationDataStore）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准
白枭·2023-11-14 06:08

数仓分层介绍

文章目录数仓分层的意义是什么?
程少亭·2023-11-14 06:36

数仓（一）数据分层

文章目录数据分层好处数据运营层数据仓库层数据应用层事实表`(FactTable)`维表层(`Dimension`)表命名规则聚合粒度以及加工频率字段说明抽取方式字段命名规范数据表名命名规范表分区字段说明任务命名规范大厂分层架构爱奇艺SaaS收银运营数仓分层架构美团数仓分层架构网易云音乐数仓分层架构数据分层数据分层在建设数据仓库中是一个十分重要的环节
666呀·2023-11-14 06:05

【数据仓库】数仓分层方法

文章目录一.数仓分层的意义1.清晰数据结构。2.减少重复开发3.方便数据血缘追踪4.把复杂问题简单化5.屏蔽原始数据的异常6.数据仓库的可维护性二.如何进行数仓分层？
roman_日积跬步-终至千里·2023-11-14 06:01

常见维度设计

在模型设计过程中，一般会用到以下维度种类，不同的维度种类需要采用不同的设计方法：缓慢变化维（SlowlyChangingDimension）快速变化维（RapidlyChangingDimension）
柏舟飞流·2023-11-14 01:44

数仓hive锁（Hive Lock）

昨天数据仓库hive中一张中间表lock，导致所有依赖这个表的任务失败。影响挺大，借此总结一下以备后面查用。1.Hive锁的类型hive目前主要有两种锁，SHARED（共享锁S）和Exclusive（排他锁X）。共享锁S和排他锁X它们之间的兼容性关系如下：1）查询操作使用共享锁，共享锁是可以多重、并发使用的2）修改表操作使用独占锁，它会阻止其他的查询、修改操作3）可以对分区使用锁。以下情况会触发锁
Vincer_DB·2023-11-13 16:34

sqlserver2008彻底卸载

windowsInstallerCleanUp二、下载安装后在最近添加中打开三、下载sqlserver卸载工具集合四、注册表删除五、残余文件删除六、修改注册表权限七、重启之后背景介绍最近接到公司的一个任务，我们要搞实时数仓了
潘小磊·2023-11-13 14:31

Doris为数据分析而生的olap数据库：数据模型和数据分区使用详解

ApacheDoris可以满足多种数据分析需求，如数仓T+1模式固定历史报表，实时数据分析等。数据模型：Doris中的字段类型：TINYINT1字节范围：-2^7+1~2^7-1SMALLINT2字
HD0do(迪答数据)·2023-11-13 12:02

一款高效、简洁的数据处理和清洗加工工具，值得收藏！

JVS智能BI通过创新性的数仓式存储、流程化加工、直观模拟化配置和用户友好的界面化管理等特性，使数据分析变得触手可及，同时也极大地提高了数据处理和分析的效率。JVS-BI特点介绍数
jonyleek·2023-11-13 11:15

java kafka删除用户组_详细解析kafka之kafka消费者组与重平衡机制

队列模型：早期消息处理引擎就是按照队列模型设计的，所谓队列模型，跟队列数据结构类似，生产者产生消息，就是入队，消费者接收消息就是出队，并删除队列中数据，消息只能被消费一次。但这种模型有一个问题，那
weixin_39674190·2023-11-13 05:12

四、Kafka消费者组与重平衡机制

队列模型：早期消息处理引擎就是按照队列模型设计的，所谓队列模型，跟
猿小许·2023-11-13 05:12

[hive]数仓分层|用户纬度拉链表|维度建模

redirect=%2Fdb%2F241289一、数仓分层1、ODS层：原始数据层ODS(O=originalD=dataS=store)1)设计要点存储来自多个业务系统、前端埋点、爬虫获取的一系列数据源的数据
胖胖学编程·2023-11-12 16:52

深度学习中激活函数怎么选择？

选择适当的激活函数是深度学习模型设计中的重要决策，因为激活函数决定了神经网络的非线性变换能力，对模型的学习和表达能力有重要影响。
喝凉白开都长肉的大胖子·2023-11-12 11:41

Flink在汽车行业的应用【面试加分系列】

然后总结发出来方便大家阅读；另外一方面，看这些汇报对你的面试帮助会很大，特别是面试前可以看看即将面试公司在大数据前沿的发展动向（我曾经就有过一次经历，面试网易云音乐前，我在B站看了一个大佬分享的网易云实时数仓
三石大数据·2023-11-12 09:15

数仓建设中，数据治理如何切入

在数仓建设中，数据治理扮演着至关重要的角色，它不仅有助于确保数据的质量和安全性，还能提高数据的可用性和可理解性。本文将探讨数据治理在数仓建设中的切入点和关键作用。
云长歌·2023-11-11 10:14

Linux Rsyslog 通过 Apache httpd 实现 HTML 网页访问 Log

它采用客户端/服务器模型设计，因此可以配置为客户
Shanxun Liao·2023-11-11 06:59

数据仓库-业务数据采集（基于物流数仓）

0、物流数仓架构这里的数据采集的架构就是：在业务数据进入MySQL之后，部分表通过DataX全量同步到HDFS，部分表通过Flink-CDC的增量同步方式同步到Kafka，再通过Flume将数据从Kafka
小鱼干换酒钱·2023-11-11 01:40

数据仓库数据同步策略

1.实时数仓同步数据实时数仓数据由Flink源源不断从Kafka当中读数据计算，无需手动同步数据到实时数仓。
DB架构·2023-11-11 01:09

Hive数据仓库知识点总结

文章目录数据仓库概念主要特征数仓和数据库的区别数仓的分层ETL概念Hive框架介绍和安装Hive的概述Hive的特点Hive的架构Hive的交互方式Hive的基础操作Hive的数据库操作Hive的表操作
shmily_lee·2023-11-11 01:39

治理效率提升77%！揭秘基于DataLeap实时健康分的最佳实践

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群背景某企业实时数仓团队通过数据收集、整合、计算和存储构建实时数据仓库，为企业提供快速、准确、可靠的实时数据分析和决策支持
字节数据平台·2023-11-10 11:50

直播实时数仓基于DataLeap开放平台在发布管控场景的业务实践

原有离线批处理的数据仓库已经无法满足诉求，因此需要打造一套同时具备高时效性和高稳定性的计算能力快速完成对数据的处理，即实时数仓。团队介绍直播实时数仓团队隶属于Data-数据平台部门，负责为直播中台业
字节数据平台·2023-11-10 11:14

数据湖浅析(以hudi为例)

数据湖定义业界对于数据湖的定义存在一定争议，个人认为数据湖就是针对传统hive数仓不支持acid、upsert、schemaevolution等痛点上，提出的一种数据存储库。
weixin_45626756·2023-11-10 06:44

文献阅读（基于TrAdaBoost- LSTM算法对大规模连续水质缺失值）与TradaBoost算法的学习

AtransferLearning-BasedLSTMstrategyforimputingLarge-Scaleconsecutivemissingdataanditsapplicationinawaterqualitypredictionsystem摘要文章结构模型设计数据处理评估标准实验特点创新点改进点小结二
HSR CatcousCherishes·2023-11-09 22:28

数仓增量表、全量表、快照表、拉链表

1、增量表增量表：新增数据，增量的数据是上次导出之后的新数据。（1）记录每次增加的量，而不是总量（2）增量表，只报变化量，无变化不用报（3）每天一个分区2、全量表全量表：每天的所有的最新状态的数据（1）全量表，有无变化，都要报（2）每次上报的数据是所有的数据（变化的+没有变化的）（3）只有一个分区3、快照表快照表：按日分区，记录截止数据日期的全量数据（1）快照表，有无变化，都要报（2）每次上报的数
使不得呀·2023-11-09 18:40

如何撰写数据中台蓝图方案

数据中台是基于公司的三款核心产品DAP、MDM和ESB组成的解决方案，主要实现基于数据治理分析的中台建设，通过MDM将企业内部的基础数据标准化、规范化、整合化后，由DAP进行数仓建设以及最终的数据分析的可视化展现
数通畅联·2023-11-09 15:02

大语言模型(LLM)综述(七)：大语言模型设计应用与未来方向

ASurveyofLargeLanguageModels前言8APRACTICALGUIDEBOOKOFPROMPTDESIGN8.1提示创建8.2结果与分析9APPLICATIONS10CONCLUSIONANDFUTUREDIRECTIONS前言随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram模型演变为更为复杂和强大的神经网络模型。在
青云遮夜雨·2023-11-09 14:08

DDD技术方案落地实践

对于领域驱动模型设计研发，从开始的各种疑惑到吸收各种先进的理念，目前在技术实施这一块已经基本比较成熟。在既往经验中总结了一些在开发中遇到的技术问题和解决方案进行分享。
液态不合群·2023-11-09 11:23

尚硅谷大数据项目《在线教育之实时数仓》笔记007

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第9章数仓开发之DWD层P053P054P055P056P057P058P059P060P061P062P063P064P065
upward337·2023-11-09 10:28

《数据仓库工具箱》- 第三章零售业务中的知识点汇总

维度模型设计的4步过程1.选择业务过程业务过程通常用行为动词标示由某个操作型系统支撑，如订单和购买系统业务过程建立获取关键性能度量业务过程通常由输入激活，产生输出度量应该将注意力放在业务过程，而不是放在功能化的部门
weixin_34409741·2023-11-09 04:50

数据仓库工具箱-零售业务

文章目录一、维度模型设计的4步过程1.1第一步：选择业务过程1.2第二步：声明粒度1.3第三步：确定维度1.4第四步：确定事实二、零售业务案例研究2.1第一步：选择业务过程2.2第二步：声明粒度2.3第三步
m0_46218511·2023-11-09 03:16

20000字详解大厂实时数仓建设（好文收藏）

一、实时数仓建设背景1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。
zhisheng_blog·2023-11-09 03:36

面经-数仓-高途

1.hive和spark差异，优劣2.sql连续3天登陆3.sql行转列，列转行4.多维度groupingsets5.python装饰器6.数据质量7.sql关联键数据类型不一致，会有什么结果1.flink过程，算子2.druid和其他框架3.ch4.es和mysql和hbase
piscessssss·2023-11-09 03:06

博时基金数据开发面经

4、数仓的数据量多大？5、除了o层，数仓有多少任务？6、数仓的任务要跑多久？7、外部数据平台数据的流向？8、外部数据平台有哪些数据入到数仓？9、数据交换平台的应用场景？10、你们大数据平台几个节点？
大数据的奇妙冒险·2023-11-09 03:06

数仓面试题（3）

1.内部表和外部表的区别：内部表是存储在关系型数据库中的表，而外部表是存储在文件系统或其他数据源中的表。内部表的数据由数据库管理系统进行管理和访问，而外部表则需要使用特定的连接器或接口进行访问和操作。此外，内部表的存储空间是有限的，而外部表则可以存储非常大的数据集。2.MapReduce的工作流程：MapReduce是一种编程模型，用于处理大规模数据集。它分为两个阶段：Map阶段和Reduce阶段
Young_IT·2023-11-09 03:34

大数据入职阿里云面经

条理清晰阅读方便，转载是为了方便以后个人查阅https://mp.weixin.qq.com/s/F2TiFw-LYFXMRj_hsD-TIw一、面试准备面试前，我花了很多时间，对项目进行了梳理，尤其在业务数仓的分层和多维数据模型设计这块
Zsigner·2023-11-09 03:34

数仓经典面试题

1.什么是数据仓库？请谈谈你对数据仓库的理解。数据仓库是一个用于存储和管理数据的系统，它可以将分散的、异构的数据源中的数据进行抽取、转换、清洗和整合，然后按照一定的模型和架构进行组织和存储，以便更好地支持决策分析和业务操作。数据仓库通常包括数据源、ETL（提取、转换、加载）过程、数据存储和数据查询等组成部分。2.什么是数据中台？请谈谈你对数据中台的理解。数据中台是一个集数据采集、数据处理、数据存储
Young_IT·2023-11-09 03:04

数仓面经大框架

1.计算机及编程基础：操作系统：进程、线程等数据结构：算法题计算机网络：分层等Linux：常用的指令MySQL（重点）Java/Python基础排序算法（快排、归并等）2.大数据组件Hadoop:HDFS(重点)，MapReduce(重点),YarnSparkHive从功能，原理，组成，运行流程调优(重点)，Hive调优(参数、sql)，Spark调优(资源、开发算子、数据倾斜、参数)3.数据仓库
Young_IT·2023-11-09 02:03

Databend 开源周报第 113 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-08 20:08

Databend 开源周报第 114 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-08 20:08

Databend 开源周报第 117 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-08 20:08

Databend 开源周报第 118 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-08 20:36

建筑设计从建模到出图主要是哪三步操作呢？

建筑设计的一个操作流程中，从模型设计与塑造，到模型渲染。可以说是每一个环节都需要精益求精的精神和对细节的极致追求。建筑设计渲染今天小编和大家一起来聊聊建筑设计的整个流程，从模型设计与建筑设计渲染。
CG_MAGIC·2023-11-08 20:56

react基础06--react综合案例-电商网站导航

react基础06--react综合案例-电商网站导航1介绍2案例设计模块2.1分类导航数据模型设计2.2一级分类导航切换高亮效果2.3显示二级分类导航2.4路由跳转到二级导航的商品列表2.5商品搜索3
昕光xg·2023-11-08 19:08

DDD技术方案落地实践 | 京东云技术团队

对于领域驱动模型设计研发，从开始的各种疑惑到吸收各种先进的理念，目前在技术实施这一块已经基本比较成熟。在既往经验中总结了一些在开发中遇到的技术问题和解决方案进行分享。
京东云技术团队·2023-11-08 16:20

Flink SQL TopN语句详解

TopN定义（⽀持Batch\Streaming）：TopN对应离线数仓的row_number()，使⽤row_number()对某⼀个分组的数据进⾏排序。
猫猫爱吃小鱼粮·2023-11-08 09:14
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他