数仓主要特征

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
阿里云大数据AI技术·2024-02-06 16:49

Hive分区表增加字段新增字段为NULL解决方案

背景：数仓开发过程中，经常会有需求变更，添加字段的情况很难免，添加完了字段需要重新写数据，重新将这个字段的数据overwrite进去，但是会出现一个问题，就是加载的数据为NULL。
Lens5935·2024-02-06 10:11

10个最受欢迎的 JavaScript 框架，以及它们的主要特征和功能

多年来，业界已经发布了大量JavaScript框架，怎样进行选择可能是一个挑战。如果你感到困惑，不知道应该选哪个或者究竟哪个适合你，那么我已经帮你解决了问题。在本文中，我将列出用来构建Web应用程序的前10个JavaScript框架。1.AngularJSAngular是最强大、最高效、最开源的JavaScript框架之一。在这个列表中不可能不提及Angular。该框架由Google运营，用于开发
骨灰设计师小X·2024-02-06 10:08

k8s的Deployment部署策略线上踩坑

线上问题我们有个服务,专门做t-1日的增量数据入仓的.入仓流程:每日0点系统新建个csv文件,通过kafka监听增量数据,实时数据写入该csv文件,供下游数仓次日取数.每日产生数据50G(1.8亿条)左右
吴free·2024-02-06 07:41

DolphinScheduler数仓任务管理规范

目录一、DolphinScheduler调度数仓任务现状分析2.1一个任务流构建数仓所有的逻辑节点2.2每个逻辑节点构建一个任务流二、数仓任务管理调度需求分析三、DolphinScheduler数仓开发任务管理规范四
i7杨·2024-02-05 16:09

数仓建设规范

数仓建设规范一、数据模型架构原则1.数仓分层原则2.主题域划分原则3.数据模型设计原则二、数仓公共开发规范1.层次调用规范2.数据类型规范3.数据冗余规范4.NULL字段处理规范5.指标口径规范6.数据表处理规范四
长不大的大灰狼·2024-02-05 04:03

人类心理发展特征与心理健康（4）

人类心理发展的主要特征二、人类心理发展的年龄特征（一）胎儿期心理发展的主要特征生命的孕育是一项复杂的系统工程，人的心理的发展也是伴随着生理的发展主要是大脑的发育而逐渐产生，个体的心理在母体孕育期受到遗传因素的制约和环境的影响
邵真·2024-02-04 23:14

基于Flink的实时数仓建设

目录：一.实时计算初期二.实时数仓建设三.Lambda架构的实时数仓四.Kappa架构的实时数仓五.流批结合的实时数仓一、实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求
园陌·2024-02-04 12:48

JAVA Web 学习（四）RabbitMQ、Zookeeper

AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议更多用在企业系统内，对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求还在其次。
CDSN之父·2024-02-04 09:10

第七章 主管信息系统和数据仓库

[TOC]第七章主管信息系统和数据仓库7.0前言EIS是数仓之前的概念EIS没有注重基础结构（数据源、数据质量、数据流通等）DSS是现代的EIS，与数仓紧密相连7.1EIS概述EIS典型用途趋势分析关键指标度量和跟踪向下钻取问题监控竞争分析关键性能指标监控
晨磊的微博·2024-02-04 04:53

数仓建模&维度建模理论知识

0.思维导图第1章数据仓库概述1.1数据仓库概述  数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。1.2数据仓库核心架构第2章数据仓库建模概述2.1数据仓库建模的意义  数据模型就是数据组织和存
韩顺平的小迷弟·2024-02-03 16:02

云计算基础（云计算概述）

目录一、云计算概述1.1云计算的概念1.1.1云计算解决的问题1.1.2云计算的概念1.1.3云计算的组成1.2云计算主要特征1.2.1按需自助服务1.2.2泛在接入1.2.3资源池化1.2.4快速伸缩性
夜夜流光相皎洁_小宁·2024-02-03 13:53

hadoop使用公平调度器

Stage1（默认调度器）大概在几年前，搭建的数仓集群中。数据量不大，做离线一个晚上就能轻松调度完，那时候使用的hadoop自带的调度器，容量调度器。但默认配置没有改，就会发生什么！
向他一样rap·2024-02-03 13:22

离线数仓-数据治理

目录一、前言1.1数据治理概念1.2数据治理目标1.3数据治理要解决的问题1.3.1合规性元数据合规性数据质量合规性数据安全合规性1.3.2成本存储资源成本计算资源成本二、数据仓库发展阶段2.1初始期2.2扩张期2.3缓慢发展期2.4变革期三、数据治理内容3.1元数据治理3.2数据质量治理3.3数据安全治理3.4计算资源治理3.5存储资源治理四、数据治理总结4.1模型合规治理4.2数据质量合规治理
爱吃辣条byte·2024-02-03 13:51

数仓治理-存储资源治理

存储资源治理的流程及思路三、治理前如何评估3.1无用数据表/临时数据表下线评估3.2表及分区的生命周期评估3.3存储及压缩格式评估3.4根据业务场景实现节省存储评估四、治理后的成效如何评估一、存储资源治理的背景由于早期数仓的存储资源比较充裕
爱吃辣条byte·2024-02-03 13:51

Flink实时数仓同步：拉链表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，业务使用人员需要大数据分析平台中查看历史某一天的表数据，示例如下：[Mysql]业务数据-用户表全量数据：idnamephonegende
Light Gao·2024-02-03 10:15

Flink实时数仓同步：流水表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，大数据分析平台需要能够检索某张业务表的变更记录，并以每天为单位统计每条数据的变更频率。以下是示例：[Mysql]业务数据-用户表全量数据：
Light Gao·2024-02-03 10:15

深入数仓离线数据同步：问题分析与优化措施

一、前言在数据仓库领域，离线数仓和实时数仓是常见的两种架构类型。离线数仓一般通过定时任务在特定时间点（通常是凌晨）将业务数据同步到数据仓库中。
Light Gao·2024-02-03 10:14

数仓日常维护：剖析每日增量同步的内部机制

数仓日常维护：剖析每日增量同步的内部机制一、前言在现代企业中，离线仓库扮演着不可或缺的角色。它充当着一个数据的中心枢纽，存储和管理着海量的信息。
Light Gao·2024-02-03 10:14

四同

同好、同名、同频、同龄才是人脉圈层的主要特征。所谓同好，既有共同爱好，更是共同价值观。价值观相同的人在一起，彼此愉悦，也觉得世界不孤单。所谓同名，就是同等名望。到
有灵且美·2024-02-03 10:05

Flink实时数仓同步：快照表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，业务使用人员需要大数据分析平台中查看历史某一天的表数据，示例如下：[Mysql]业务数据-用户表全量数据：idnamephonegende
Light Gao·2024-02-03 10:38

主成分分析PCA、KPCA，贡献度计算，特征降维，散点图，从入门到精通，Matlab程序，一键运行！

降维方法：PCA和KPCA都是降维技术，用于从高维数据中提取主要特征或进行非线性降维。下面将详细说明它们的原理和区别（附带程序结果）。主成分分析（PrincipalCo
预测及优化·2024-02-03 09:42

实时数仓到底是什么呢？与传统数仓有什么区别？如何建设实时数仓呢？

在本地生活服务领域的两大巨头，滴滴在自己的业务如顺风车、美团在自己的业务如团购外卖中进行实时数仓的建设，为消费者提供更好的服务，如我们在滴滴上可以更快的打到更便宜的车、在美团上可以更快的取到最想要吃的餐
盐城qn·2024-02-02 18:50

李克富点评训练营10/90

主要特征是间接性和概括性。思维内涵的间接性：是因为认识到了事物之间有内在联系，如果事物之间没有这种内在联系，人们就难以通过已知推测出未知。如早起看到白茫茫的雪，就可以判断出昨天晚上下雪了。
瑞雪英姿_8f35·2024-02-02 17:20

Flink CDC 详述实时数据湖

在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖ApacheIceberg两种技术，来解决业务数据实时入湖相关的问题。
000X000·2024-02-02 12:01

如何推动埋点管理项目的落地

一埋点管理常见痛点分析埋点数据作为三大数据来源之一，具有应用场景多、数据量级大等特点，上能影响数据分析、推荐、AB实验的准确性，下能影响数仓结构设计和维护成本，其重要性不言而喻。
一个数据人的自留地·2024-02-02 06:01

数据仓库表级血缘应用

数仓血缘应用（一）：表血缘热度文章目录数仓血缘应用（一）：表血缘热度前言一、价值衡量指标——应用层二、血缘节点应用——热度1、指标透传（应用层——>数仓）2、指标应用（热度）2.1、数仓血缘节点关系2.2
零壹Ture·2024-02-02 02:24

计算机组成原理|第七章(笔记)

操作类型7.3寻址方式7.3.1指令寻址7.3.2数据寻址7.4指令格式举例7.4.1设计指令格式时应考虑的各种因素7.4.2指令格式举例7.5RISC技术7.5.1RISC的产生和发展7.5.2CISC的主要特征
多加点辣也没关系·2024-02-01 20:11

【大数据开发 Spark】第一篇：Spark 简介、Spark 的核心组成（5大模块）、Spark 的主要特征（4大特征）、Spark 对比 MapReduce

文章目录1Spark简介2Spark的核心组成（5大模块）3Spark的主要特征（4大特征）4Spark对比MapReduce1Spark简介初步了解一项技术，最好的方式就是去它的官网首页，一般首页都会有十分官方且准确的介绍
超周到的程序员·2024-02-01 12:02

了解 WebSocket 和 TCP ：有何不同

WebSocket主要特征包
m0_73898769·2024-02-01 10:35

oracle数仓rac两个节点查询耗时不一致问题处理

问题描述数据库节点1查询比节点2查询慢。现场操作应用发现发现同一sql语句在节点2上只要2分钟左右，在节点1，该条sql执行要超过30分钟。处理过程根据问题，初步判断是由于错误的执行计划，导致性能问题，但实际上对两个节点做trace跟踪发现执行计划都一致，后续通过awr报告和10046事件跟踪发现由于“gccrmultiblock”耗时造成节点一慢，这是oracleRAC大事务处理特性，两边都查有
烟雨归来·2024-02-01 09:23

大数据开发之离线数仓项目（用户行为采集平台）（可面试使用）

第1章：数据仓库概念数据仓库，是为企业指定决策，提供数据支持的，可以帮助企业，改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在mysql、oracle等数据库中。用户行为数据：用户
Key-Key·2024-02-01 08:46

如何判断政信的风险？

-一-纯正政信的主要特征1、融资方的股东背景一般是当地的果资委、财zhen局，甚至还有经开区管未会等直接全资控股或者二级子公司全资控股的。
大佛聊互联网金融·2024-02-01 03:24

四大成功企业的商业模式，华为模式很牛逼！

世界上的成功商业模式案例有很多，通过对其进行总结，小编发现一个成功商业模式的主要特征包括如下三个方面：首先，成功的商业模式是基于产业价值链的分解所形成的。
沸点生活Tm·2024-02-01 01:09

多表拆解 | 数据PM的工作内容

之前一篇文章介绍了我司数据体系搭建过程，见：埋点、数仓到中台：数据体系的从0到1为了区分数据产品和数据产品经理，下文会用数据产品和数据PM来区分。
PMCAFF产品社区·2024-01-31 21:47

数据建模分析与数仓维度建模规范

数据建模在数仓管理、数据库设计、算法模型训练等领域都有着重要的作用。
i7杨·2024-01-31 20:57

Python入门教程，30分钟玩转Python编程！

一、Python入门二、Python爬虫三、数据分析四、数据库与ETL数仓五、机器学
老-程序员·2024-01-31 18:50

大厂 5 年实时数据开发经验总结，Flink SQL 看这篇就够了！

本文摘编于《FlinkSQL与DataStream入门、进阶与实战》（500页、70万字）作者羊艺超，目前就职于快手，国内最早一批FlinkSQL使用者拥有从0到1使用FlinkSQL建设、保障及治理实时数仓的丰富经验京东机械工业出版社旗舰店限时
zhisheng_blog·2024-01-31 15:29

HBase表结构

一般我们从数仓中离线统计分析海量数据，将得到的结果插入HBase中用于实时查询。表结构hbase在表中组织数据。表名是字符串和字符的组合，可以在文件系统路径中使用这里以一个公
内向仓鼠·2024-01-31 07:55

Databend 开源周报第 130 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-31 04:28

数据仓库实践杂谈（十八）——关于报表

整体数据分层第三章：整体实现框架第四章：元数据第五章：ETL第六章：数据校验第七章：数据标准化第八章：去重第九章：增量/全量第十章：拉链处理第十一章：分布式处理增量第十二章：列式存储第十三章：逻辑数据模型（数仓模型
老程序员一叶知秋·2024-01-30 18:45

字节跳动二面经典题目

欢迎关注公众号：语数本期投稿本期语数精选来源于球友应对字节跳动二面时候的场景问题数仓工程师的职业规划做数仓工程师要具备哪些点，按照重要性排序gpt在数据分析中的应用实习项目的收益价值在哪里？
语兴数据·2024-01-30 15:31

一文掌握0基础如何体系化学习数仓

欢迎关注公众号：语数2本期精选问题如何校验开发好的数仓指标？如果你是公司的分析师，应该如何分析数据？0基础如何体系化学习数仓？
语兴数据·2024-01-30 15:01

当你要做数仓汇报时，应该怎么讲故事？

语数精选简介语数精选来源于语数社区星球球友提问，主要沉淀一些大家工作和学习过程中存在的一些共性问题，希望能够更好的帮助到球友和粉丝。欢迎关注公众号：语数本期精选问题提问背景：了解高效的学习方向和针对性的学习路线，利用业余时间修炼自己，希望2年后收入和职级能有所提高。当下应制定怎样的学习路线？有哪些模块应深入学习或者考证？什么是指标体系，如何推动？如何方便领导讲故事，证明我司是有数据能力一、高效制定
语兴数据·2024-01-30 15:01

揭秘：数仓开发面试真正需要注意的点

怎样保障数仓数据的一致性？
语兴数据·2024-01-30 15:30

以数仓视角切入学习路线，大数据真正需要学习的内容有哪些？

本期精选问题作为数仓开发，需要学习哪些大数据基础知识？当整个数据链路过长时，如何进行模型优化？
语兴数据·2024-01-30 15:30

数仓建设学习路线（四）-指标体系建设

指标体系建设目的与下游（风控/bi）达成合作，保障指标建设时口径的统一，完成指标覆盖，提升复用性，通过可视化方式提升查询效率指标中心图指标体系建设难点能否与下游达成共识（沟通）指标能否做到数仓收口
语兴数据·2024-01-30 15:00

我在面试时写了这个，面试官对我刮目相看

孟哥介绍前字节跳动高级开发，军工企业数仓某线负责人，曾面试过上百人，看过2000余份简历。
语兴数据·2024-01-30 15:00

数仓建设学习路线（五）-数据质量保障

也使得下游业务方对数据用的放心数据质量的痛点有哪些数据问题该如何上报修复，缺少流程化数据链路缺少卡点保障数据不能及时产出影响到下游用数用户无感知，除了发现的数据问题，隐藏的数据问题仍存在很多人会有一种想法，做了这么久的数仓为什么还存在质量问题
语兴数据·2024-01-30 15:00

数仓建设学习路线（三）元数据管理

什么是元数据？简单来说就是描述数据的数据，更直白来说就是描述表名、表制作者、表字段、表生命周期、表存粗等信息的数据元数据该如何管理工具化开源：可通过atlas获取表依赖及信息做二次开发，或者完成可视化界面平台化：数据血缘数据血缘功能清晰知道表/任务上下游，方便排查问题，知道下游哪个模块在使用，提升开发效率及后期管理维护数据血缘类型活跃血缘：指离线开发线上调度产出的血缘，且调度持续生效静默血缘：指离
语兴数据·2024-01-30 15:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他