数仓（

202303最新各大厂大数据核心面试题

必须结合实际项目来谈，结合我实际离线数仓里做的优化？本人回答：1.小文件的优化（解决方法是combineHiveinput、merge、jvm重用等）2.数据倾斜的优化：
大数据私房菜·2023-04-20 16:30

数据仓库基础介绍

数据仓库基础介绍定义一、数仓分层二、为什么分层三、数仓建模方式四、数仓表设计五、关于时间定义Datawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了
幸福右手牵·2023-04-20 15:21

数据治理实践 | 网易某业务线的计算资源治理

笔者作为数仓开发经常会收到大量集群资源满载、任务产出延时等消息/邮件，甚至下游数分及其他同学也会询问任务运行慢的情况，在这里很多数仓同学遇
·2023-04-20 10:30

对话抖音电商：量级庞大、参差不齐，“数据质量治理”有妙招！

基于数据驱动思路，在数仓建设、数据管理等层面的工作，推动抖音电商能准确分析和测量数据，做出以数据为依据的决策，从而推动业务快速发展。
·2023-04-20 10:59

数据系统架构-10.数仓开发平台

数仓开发平台1.背景数据仓库是存储各种数据的仓库，形同于现实当中存储货物的仓库，不可避免的存在“乱放”、“不方便存取”、“浪费空间”等情况。
叶之城·2023-04-20 10:21

数据系统架构-6.BI数据展示平台

6.BI数据展示平台一、序在有了数仓、实时、离线的数据之后，我们需要一个数据展示分析的平台。
叶之城·2023-04-20 10:51

永续合约中涉及到的名词解释

挂单冻结保证金-未实现盈利已用：用户当前持有的合约和所有开仓委托所需要的保证金，与保证金率的计算有关开仓均价：当前仓位，开仓平均成本价格仓位保证金：开出仓位要求的最低保证金金额仓位保证金=仓位价值/杠杆倍数仓位保证金率
币圈大师姐·2023-04-20 08:01

离线数仓和实时数仓的区别

下面我们从7个方面来对比离线数仓和实时数仓的区别：1.架构选择方面，离线数仓采用传统大数据框架模式搭建，而实时数仓采用Kappa架构方式搭建。2.建设方法上两者都是采用传统数仓建模方式论。
冷艳无情的小妈·2023-04-20 03:27

数据数仓的三种建模方式

所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是IBM和NCR，这两家公司的除了能够提供较为强大的数据仓库平台之外，也有各自的针对某个行业的数据模型。例如，在银行业，IBM有自己的BDWM(Bankingdatawarehousemodel)，而NCR有自己的FS-LDM模型。在电信业，IBM有TDWM（
大数据狂人·2023-04-20 02:25

ByteHouse 技术白皮书正式发布，云数仓核心技术能力首次全面解读（内附下载链接）

相比起传统数仓，云原生数据仓库凭借更灵活、更具弹性化的特性，以及有效降低资源、人力成本的能力，在云市场上受到越来越多的关注，逐渐成为企业数字化基础
字节数据平台·2023-04-19 22:21

离线数仓的数仓分层

数据仓库分层的作用数据结构化更清晰：对于不同层级的数据，他们作用域不相同，每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据血缘追踪：提供给外界使用的是一张业务表，但是这张业务表可能来源很多张表。如果有一张来源表出问题了，我们可以快速准确的定位到问题，并清楚每张表的作用范围。减少重复开发：数据分层规范化，开发一些通用的中间层数据，能够减少重复计算，提高单张业务表的使用率
大大大大肉包·2023-04-19 21:58

数据仓库之血缘关系

对数仓了解的人应该知道，数据仓库是从业务系统（例如，用友软件、融通、红草）、爬虫等等数据源哪里获
bluedraam_pp·2023-04-19 20:42

python matplotlib绘图过程中设置线条颜色

‍博主介绍：大家好，我是大锤爱编程的博客_CSDN博客-大数据,Go,数据分析领域博主，有五年的数据开开发，有着丰富的数仓搭建、数据分析经验。
大锤爱编程·2023-04-19 17:29

在 KubeSphere 中开启新一代云原生数仓 Databend

作者：尚卓燃（https://github.com/PsiACE），Databend研发工程师，ApacheOpenDAL(Incubating)PPMC。前言Databend是一款完全面向云对象存储的新一代云原生数据仓库，专为弹性和高效设计，为您的大规模分析需求保驾护航。Databend同时是一款符合Apache-2.0协议的开源软件，除了访问云服务（https://app.databend.c
·2023-04-19 12:11

数据治理实践 | 网易某业务线的计算资源治理

笔者作为数仓开发经常会收到大量集群资源满载、任务产出延时等消息/邮件，甚至下游数分及其他同学也会询问任务运行慢的情况，在这里很多数仓同学遇
·2023-04-19 12:29

Flink CDC 在易车的应用实践

本篇内容主要分为四个部分：Flink应用场景DTS平台建设FlinkCDC+Hudi应用实践未来规划点击查看直播回放和演讲PPT一、Flink应用场景Flink在易车有丰富的应用场景，主要包含实时数仓建设和数据集成
·2023-04-19 11:54

中原银行对金融行业实时数仓的现状与发展趋势思考

众所周知，实时数仓落地是一个难点，尤其是金融行业，还没有出现真正所谓的实时报表。金融行业个别案例的实时数仓是在较窄场景、较多限制下的尝试，还不能够称之为实时数仓，如银行普遍的实时报表业务都无法满足。
·2023-04-19 11:10

详解数据仓库数据湖及湖仓一体

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？
weixin_38754337·2023-04-19 11:42

数据湖VS数据仓库？湖仓一体了解一下

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？
浪尖聊大数据-浪尖·2023-04-19 11:12

Flink CDC 在易车的应用实践

本篇内容主要分为四个部分：Flink应用场景DTS平台建设FlinkCDC+Hudi应用实践未来规划点击查看直播回放和演讲PPT一、Flink应用场景Flink在易车有丰富的应用场景，主要包含实时数仓建设和数据集成
·2023-04-19 11:38

什么是湖仓一体化？

随着当前大数据技术应用趋势，企业对单一的数据湖和数仓架构并不满意。
jane9872·2023-04-19 11:07

开源周报第 89 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-04-19 06:51

Databend Cloud 平台的 Serverless 架构实践

作者：李亚舟DatabendCloud负责人https://github.com/flaneur2020Databend是一个开源的、完全面向云架构的新式数仓，它将廉价的云存储作为主要存储，并提供快捷高效的分析性能
Databend·2023-04-19 06:21

Databend 开源周报第 88 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.com。
Databend·2023-04-19 06:20

Flink实战1-数据实时写入Kudu的客户端方式给与业务以Impala实时分析

；目前的自主分析是使用的开源产品Superset做一部分的改造，接入Druid，ES，Impala，分析师们已经全部转到我们的平台，大部分的使用都是基于我们数仓的DWS，但是除此之外实时
Kevin_鹿·2023-04-19 06:54

数仓--DW--Hadoop数仓实践Case-11-分段维度

分段维度概述在客户维度中，最具有分析价值的属性就是各种分类，这些属性的变化范围比较大。对某个个体客户来说，可能的分类属性包括：性别、年龄、民族、职业、收入和状态，例如，新客户、活跃客户、不活跃客户、已流失客户等。在这些分类属性中，有一些能够定义成包含连续值的分段，例如年龄和收入这种数值型的属性，就可以分成连续的数值区间，而像状态这种描述性的属性，可能需要用户根据自己的实际业务仔细定义，通常定义的根
李小李的路·2023-04-19 05:12

快速开始 PieCloudDB Database：数据实例演示

新一代云原生虚拟数仓PieCloudDB「云上云」版（CloudonCloud）已于2023年3月14日重磅发布。
·2023-04-18 22:14

MySQL和MongoDB如何JOIN查询？一个直接在本地运行的SQL执行引擎

在微服务和云原生愈发流行的今天，数据的分布也愈发脱离单库单机而更加复杂，使用的数据库类型也会更多，但业务的复杂依然会带来了大量的数据查询和导出需求，而很多时候我们很难为数据量的大部分系统创建完整的BI数仓系统
·2023-04-18 22:48

快速了解数据仓库建模

6.1、数仓分层结构6.2、为什么需要对数据仓库分层？1、什么是OLTP和OLAP？
技术人小柒·2023-04-18 22:24

数仓实验二：关联规则挖掘实验（利用Python实现）

数仓实验二：关联规则挖掘实验（利用Python实现）文章目录数仓实验二：关联规则挖掘实验（利用Python实现）一、实验目的二、实验内容和要求三、实验步骤1、生成数据集2、读取数据并处理3、使用apriori
-北天-·2023-04-18 21:06

Flink SQL 在美团实时数仓中的增强与实践

01FlinkSQL在美团目前FlinkSQL在美团已有100+业务方接入使用，SQL作业数也已达到了5000+，在整个Flink作业中占比35%，同比增速达到了115%。SQL作业的快速增长给我们带来了许多新的问题和挑战，主要包括以下几点：SQL作业无法细粒度修改StateTTL、并发等配置导致资源浪费。SQL修改逻辑无法从原先状态恢复。SQL作业出现数据正确性问题难以排查。下面将一一介绍这些问
Openlab.cosmoplat·2023-04-18 12:15

数仓原型设计

数据仓库原型设计一.何为数据仓库二.数仓名称说明2.1.DS：数据来源2.2.ODS:原始数据层为什么需要ODS层？
风清俊·2023-04-18 10:41

2023-详解实时数仓建设

一、实时数仓建设背景1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。
000X000·2023-04-17 21:08

阿里数据仓库架构与模型设计

本文将分如下4个部分，介绍阿里巴巴DataWorks的数仓架构与模型设计方法：技术架构选型数仓分层数据模型层次调用规范01技术架构选型教程本身是以阿里云MaxCompute为例，实际上，流程和方法论是通用的
公众号:肉眼品世界·2023-04-17 21:37

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

一、数仓建模的意义，为什么要对数据仓库分层？只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。
公众号:肉眼品世界·2023-04-17 21:07

大数据项目---电商数仓（二）

一.Azkaban_工作流程安排二.Azkaban_部署_executor三.Azkaban_部署_web四.Azkaban_部署_启停脚本五.Sqoop_导出事项六.Sqoop_Mysql建表注意事项七.Sqoop_导出脚本说明八.Azkaban_全流程调度_数据准备九.Azkaban_全流程调度_flow文件的编写上传(一)十.Azkaban_全流程调度_flow文件的编写上传(二)十一.Az
ASDWYang·2023-04-17 21:06

大数据项目实战之数据仓库：电商数据仓库系统——第7章 数仓开发之ODS层

文章目录第7章数仓开发之ODS层7.1日志表7.2业务表7.2.1活动信息表（全量表）7.2.2活动规则表（全量表）7.2.3一级品类表（全量表）7.2.4二级品类表（全量表）7.2.5三级品类表（全量表
yiluohan0307·2023-04-17 21:34

2021-01-14

她找开发小王申请了数仓权限，然后从技术中台里找到了数据大屏的工具，把自己平时查数据用的sql搬上去跑，结果总是报错。小美找到了做数据产品经理的师兄小帅看了看。小帅：你这个查
一个数据人的自留地·2023-04-17 17:32

助力工业物联网，工业大数据之ODS层及DWD层建表语法【七】

文章目录ODS层及DWD层构建01：课程回顾02：课程目标03：数仓分层回顾04：Hive建表语法05：Avro建表语法ODS层及DWD层构建01：课程回顾一站制造项目的数仓设计为几层以及每一层的功能是什么
Maynor996·2023-04-17 15:52

数仓如何进行源系统调研

一、系统级调研系统概况系统的介绍资料业务范围和重要的流程是否有清算以及清算的时间、清算的来源系统主要使用部门和人员与其他系统的接口逻辑二、表级调研每张表的业务含义和用途关键字段的业务含义表的主键表与表之间的关系字典表是否有历史表，历史表是否做归档，归档的条件，归档后是否删除当前表三、字段级调研1．事前看数、事后看数2．假想应用
肥牛毛肚番茄锅·2023-04-17 06:21

【大数据OLAP引擎】图文详解 Apache Doris 架构

基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建
禅与计算机程序设计艺术·2023-04-17 05:13

数仓面试

什么叫数据仓库？如何构建数据仓库？数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，它用于支持企业或组织的决策分析处理。数据仓库是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库，它的数据基于OLTP源系统。首先，用于支持决策，面向分析型
洲洲洲xxx·2023-04-17 04:00

Spark系列 - 实时数仓之top3热门广告实战（二）

  在之前的文章中我们使用Flink也实现过topn的案例；这里，为了温习Spark如何访问kafka以及DStream的操作，我们实现一个需求：需求：每天每地区热门广告top3一、数据源[root@cdh101kafka]#bin/kafka-console-consumer.sh--bootstrap-servercdh101:9092,cdh102:9092,cdh103:9092--top
小飞牛_666·2023-04-16 19:43

银行数仓分层架构

一、为什么要对数仓分层实现好分层架构，有以下好处：1清晰数据结构：每一个数据分层都有对应的作用域，在使用数据的时候能更方便的定位和理解。
万里长江横渡·2023-04-16 18:57

Flink 在 B 站的多元化探索与实践

增量化是我们在增量化数仓和流批一体
Apache Flink·2023-04-16 08:05

黑马在线教育数仓实战5

5.意向用户主题看板_全量流程5.1需求分析主要分析什么内容:1)每一个需求涉及到那些维度,那些直白2)每一个需求涉及到那些表,表的字段3)找出需要进行清洗转换的操作4)如果表涉及到多表,需要找到表与表关联条件需求一:计期内，新增意向客户（包含自己录入的意向客户）总数。涉及维度:时间维度:年月天小时新老维度线上线下涉及指标:意向量涉及到表:customer_relationship(客户意向表)(
Amazingmonkeys·2023-04-16 03:33

黑马在线教育数仓实战4

4.访问咨询主题看板_增量流程4.1业务库中模拟增量数据(实际生产中不存在)模拟上一天数据:在mysql中执行--模拟访问咨询主表数据CREATETABLEweb_chat_ems_2021_09ASSELECT*FROMweb_chat_ems_2019_07WHEREcreate_timeBETWEEN'2019-07-0100:00:00'AND'2019-07-0123:59:59';--
Amazingmonkeys·2023-04-16 03:02

数字化时代，如何建造会“运转”的数仓

在建设数仓之前需要根据数据基础和业务需求来决定要建设什么标准的数仓。
派可数据BI可视化·2023-04-16 01:52

BI、大数据、数据中台三者关系，搞不懂的看看这篇文章

大数据、数据中台都是商业智能BI发展到一定阶段的产物，核心都是围绕数据，数据采集、数据处理能力、算力的提升催生了大数据，数据资产和数据服务催生了数据中台，核心的数仓建模自商业智能BI一脉相承未曾改变，最终出口还是商业智能
派可数据BI可视化·2023-04-16 01:46

ClickHouse冷热数据备份思考

基于ClickHouse来实现实时数仓，一般来说我们可以将热数据存储在ClickHouse中，比如：存储最近30天的数据。
淡淡的小番茄·2023-04-16 00:36
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他