数仓（

数仓备机DN重建：快速修复你的数仓DN单点故障

本文分享自华为云社区《华为云数仓备机DN重建，快速修复DN单点故障!》，原文作者：welblupen。1.技术背景GaussDB(DWS)的DN高可用架构为主、备、从备架构。
·2021-06-25 15:20

数仓建模分层理论

数仓的建模或者分层，其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话，所有的划分都是为了更好的管理
Java大数据与数据仓库·2021-06-25 11:06

唯品会：在 Flink 容器化与平台化上的建设实践

简介：唯品会Flink的容器化实践应用，FlinkSQL平台化建设，以及在实时数仓和实验平台上的应用案例。
·2021-06-24 18:14

上海职位：大数据基础设施研发工程师/数仓工程师/机器学习工程师/大数据存储研发工程师/数据业务全栈开发工程师， 视频面试，非996/997

上海职位：大数据基础设施研发工程师/数仓工程师/机器学习工程师/大数据存储研发工程师/数据业务全栈开发工程师，视频面试，非996/997大数据基础设施研发工程师工作职责1.负责数据平台的系统高可用架构和规划
IT猎头fancyfrees·2021-06-23 17:19

2021-02(完成事项)

给学习完并结合书籍,把b站上的flink架构学习完(这个部分至少要花费2-4个月的时间)把阿里云的大数据之路给看完把数据仓库的架构给学习一下(至少是2-4个月的时间,我力求在1个月内学习完)制定一个长期学习的方案在数仓领域内要找到一条不断可以精进的路线
隐约喜欢萌萌哒·2021-06-22 23:29

Flink 和 Iceberg 如何解决数据入湖面临的挑战

一、数据入湖的核心挑战数据实时入湖可以分成三个部分，分别是数据源、数据管道和数据湖（数仓），本文的内容将围绕这三部分展开。
·2021-06-22 21:13

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

简介：Hologres+Flink+DataWorks实时数仓新方案为伊的家业务带来了统一数据、统一服务、统一治理、统一存储的价值，真的做到了开箱即用，所见即所得！
·2021-06-22 16:07

大数据学习笔记2：现代数据湖之Iceberg

数据湖的定义就不说了，不了解的小伙伴可以看我之前做的笔记大数据学习笔记1：数仓、数据湖、数据中台。1.数据湖发展现状从广义上来说数据湖系统主要包括数据湖村处和数据湖分析现有数据湖技术主要由云厂商
·2021-06-22 11:36

说说数仓(4) - 指标字典

数仓总结目录：说说数仓(1)-什么是数仓说说数仓(2)-传统数仓与互联网数仓说说数仓(3)-数仓架构说说数仓(4)-指标字典说说数仓(5)-最重要的维度之日期维度说说数仓(6)-关于命名规范说说数仓(7
橘猫吃不胖·2021-06-22 06:08

数仓业务容错利器：物理细粒度备份恢复技术

摘要：随着信息技术的发展，人类进入大数据时代，数据量呈现爆炸式的增长，金融领域数据承载核心业务，即便遭遇各种软硬件错误或灾难，也需要具备找回和快速恢复业务能力，因此备份恢复能力成为数仓的最关键能力之一。
·2021-06-21 15:46

数仓面试题

1.什么叫数据仓库？数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，它用于支持企业或组织的决策分析处理。数据仓库是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库，它的数据基于OLTP源系统。首先，用于支持决策，面向分析型数据处理，它不
lj72808up·2021-06-21 13:02

Spark基础与数仓应用调优

计算引擎的发展了解SparkSpark核心理念数据应用Spark-sqlSpark四大组件Spark-sql使用与优化Spark中的基本概念使用Spark-sql参数优化问题点本文主要是认识、了解Spark，并在实际应用中进行优化。文章内容主要参数网络与工作实践，有不足之处欢迎指出探讨计算引擎的发展大数据计算引擎的发展历程可分为四个阶段，目前主流的计算引擎是第三代Spark以及19年开始火起来的F
别停下思考·2021-06-21 13:16

数据仓库开发规范

00背景规范约束是数仓建设的全流程，以及后续的迭代和运维的参照。事实上，数仓规范文档，应该随着架构设计文档，在数仓开发启动之前，分发给所有相关人员，且是所有人都必须严格遵守的约定。
·2021-06-21 10:53

大数据学习笔记2：现代数据湖之Iceberg

数据湖的定义就不说了，不了解的小伙伴可以看我之前做的笔记大数据学习笔记1：数仓、数据湖、数据中台。1.数据湖发展现状从广义上来说数据湖系统主要包括数据湖村处和数据湖分析现有数据湖技术主要由云厂商
·2021-06-21 00:57

数据仓库开发规范

00背景规范约束是数仓建设的全流程，以及后续的迭代和运维的参照。事实上，数仓规范文档，应该随着架构设计文档，在数仓开发启动之前，分发给所有相关人员，且是所有人都必须严格遵守的约定。
Yezhiwei·2021-06-20 17:45

说说数仓(6)-关于命名规范

数仓总结目录：说说数仓(1)-什么是数仓说说数仓(2)-传统数仓与互联网数仓说说数仓(3)-数仓架构说说数仓(4)-指标字典说说数仓(5)-最重要的维度之日期维度说说数仓(6)-关于命名规范说说数仓(7
橘猫吃不胖·2021-06-20 02:26

hive迷案之消失的分区文件

数仓和元数据系统的同学一起找到我，向我提出了上面的问题。看这气势是要把误删数据的罪魁祸首揪出来祭天的节奏。hive元数据信息和数据文件不一致的情况有时候确实会出现。如不同用
群演_·2021-06-19 16:11

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

广州伊的家网络科技有限公司是一家专注于服务女性的B2B2C电商平台，业务范围包括护肤、彩妆、营养美容食品、私人定制服装、跨境电商等领域。自2008年孵化项目，2011年5月上线天猫商城，全国8大配送中心，妍诗美、妍膳等品牌陆续成立，并于2013年上线了伊的家自主电商平台，2020年全面启动品牌升级。伊的家以互联网主动式服务营销，打造护肤老师与客户强连接关系，从上到下严格贯彻以品质及专业为基础，以社
·2021-06-18 22:08

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

简介：Hologres+Flink+DataWorks实时数仓新方案为伊的家业务带来了统一数据、统一服务、统一治理、统一存储的价值，真的做到了开箱即用，所见即所得！
·2021-06-18 22:34

Hologres揭秘：高性能原生加速MaxCompute核心原理

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
·2021-06-18 22:25

来电科技：基于 Flink + Hologres 的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓。
·2021-06-18 22:23

Hologres揭秘：云原生存储引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
·2021-06-18 22:14

你应该知道的数仓安全

本文分享自华为云社区《【安全无小事】你应该知道的数仓安全——加密函数》，原文作者：zhangkunhn。前言最近遇到一个客户场景，涉及共享schema的权限问题。
·2021-06-18 22:04

Flink + Iceberg 在去哪儿的实时数仓实践

简介：本文介绍去哪儿数据平台在使用Flink+Iceberg0.11的一些实践。作者：余东摘要：本文介绍去哪儿数据平台在使用Flink+Iceberg0.11的一些实践。内容包括：背景及痛点Iceberg架构痛点一：Kafka数据丢失痛点二：近实时Hive压力大Iceberg优化实践总结GitHub地址https://github.com/apache/flink欢迎大家给Flink点赞送star
·2021-06-18 22:03

Hologres揭秘：深度解析高效率分布式查询引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务
·2021-06-18 22:47

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

作者：刘松森，伊的家CTO，高级工程师，副教授职称，国内多所高校客座教授广州伊的家网络科技有限公司是一家专注于服务女性的B2B2C电商平台，业务范围包括护肤、彩妆、营养美容食品、私人定制服装、跨境电商等领域。自2008年孵化项目，2011年5月上线天猫商城，全国8大配送中心，妍诗美、妍膳等品牌陆续成立，并于2013年上线了伊的家自主电商平台，2020年全面启动品牌升级。伊的家以互联网主动式服务营销
·2021-06-18 22:12

Hologres揭秘:深度解析高效率分布式查询引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
·2021-06-18 22:07

来电科技：基于Flink+Hologres的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合
·2021-06-18 22:17

自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察

简介：客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。
·2021-06-18 21:45

Hive企业级性能优化（好文建议收藏）

但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建出一个完美的数仓，所以Hive性能调优是我们大数据从业者必须掌握的技能。本文将给大家讲解Hive性能调优的一些方法及技巧。
·2021-06-18 21:10

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

广州伊的家网络科技有限公司是一家专注于服务女性的B2B2C电商平台，业务范围包括护肤、彩妆、营养美容食品、私人定制服装、跨境电商等领域。自2008年孵化项目，2011年5月上线天猫商城，全国8大配送中心，妍诗美、妍膳等品牌陆续成立，并于2013年上线了伊的家自主电商平台，2020年全面启动品牌升级。伊的家以互联网主动式服务营销，打造护肤老师与客户强连接关系，从上到下严格贯彻以品质及专业为基础，以社
·2021-06-18 21:55

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

简介：Hologres+Flink+DataWorks实时数仓新方案为伊的家业务带来了统一数据、统一服务、统一治理、统一存储的价值，真的做到了开箱即用，所见即所得！
·2021-06-18 21:54

Hologres揭秘：高性能原生加速MaxCompute核心原理

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
·2021-06-18 21:20

大数据开发工程师（偏数仓开发岗中/高级）面试经验分享（2021）

一、个人硬性条件如下：面试岗位：大数据开发工程师（偏数据仓库开发，中高级）编程经验：6年所在城市：西北地区省会城市二、面试流程一般开头先介绍自己以及自己的工作经历，概述相关知识储备。（表述一定要条理清晰，有层次，有概括。接下来面试官提问的问题一定要直面回答，不能含混不清，不要偷换概念；要是没听懂可以直接请求面试官再表述一遍或者稍微解释一下）一般面试官会让详细介绍一个熟悉的项目，以及自己在项目中的职
resin_404·2021-06-17 15:18

2021年大数据Hive（六）：Hive的表生成函数

Hive（五）：Hive的内置函数（数学、字符串、日期、条件、转换、行转列）2021年大数据Hive（四）：Hive查询语法2021年大数据Hive（三）：手把手教你如何吃透Hive数据库和表操作（学会秒变数仓大佬
Lansonli·2021-06-14 21:48

数仓命名规范建议

1.常规表常规表是我们需要固化的表，是正式使用的表，是目前一段时间内需要去维护去完善的表。规范：分层前缀[dwd|dws|ads|bi]业务域主题域XXX粒度。业务域、主题域我们都可以用词根的方式枚举清楚，不断完善，粒度也是同样的，主要的是时间粒度、日、月、年、周等，使用词根定义好简称。2.中间表中间表一般出现在Job中，是Job中临时存储的中间数据的表，中间表的作用域只限于当前Job执行过程中，
代码足迹·2021-06-14 07:16

数据产品工作指北（3）-实时数仓分层

按照业务实际，数仓区分为ODS、DW、SCD、RPT层，DIM维度层会贯穿所有层使用，为方便后台查询会放到RPT层。
anchord·2021-06-14 01:26

数仓--Theory--什么是数仓及特点

什么是数仓/数据仓库能干什么？数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
李小李的路·2021-06-13 14:34

Omega全实时数据处理架构介绍

通过数据采集平台持续的获取流式数据；（2）在获取流式数据的同时进行实时计算；（3）实时计算的对象除了实时数据，还要考虑与历史数据相结合；（4）采集的实时数据除了需要实时计算的部分，也有不经过计算直接进入数仓
DATACloudWorker·2021-06-13 11:31

大数据项目之电商数仓-用户行为数据仓库

数据仓库分层把复杂问题简单化，把一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解清晰的数据结构，每一层都有它的作用域，这样我们在使用表的时候能更方便的定位和理解。便于维护数据的准确性，当数据出现问题的时候，可以不用修复所有的数据，只需要从有问题的步骤开始修复减少重复开发，规范数据分层，通过中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性隔离原始数据，使得真
_TIM_·2021-06-11 22:48

is not in state RUNNING but FINISHED instead. Aborting checkpoint

问题及背景首先说一下背景,最近在做实时数仓,准备构建实时宽表,读取kafka数据实时关联维表并写入kafka和HDFS,由于公司hadoop版本是2.6的所以写HDFS用的BucketingSink程序开发完运行了一段时间发现写到
陌上闻笛·2021-06-10 05:36

大数据项目之电商数仓-用户行为数据采集

数据仓库简介数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合，通过数据仓库中的数据的分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。项目需求实时采集买点的用户行为数据实现数据仓库的分层搭建每天定时导入业务数据根据数据仓库中的数据进行报表分析技术选型角度：数据采集传输、数据存储、数据计算、数据查询系统架构图设计系统数据流程设计集群资源规划设计服务器一服务器二服务器三HDFS
_TIM_·2021-06-08 22:51

从原理到实践，手把手带你轻松get数仓双集群容灾

本文分享自华为云社区《从原理到实践，手把手带你轻松get数仓双集群容灾》，原文作者：Puyol。
华为云·2021-06-07 11:04

A/B实验平台

一、A/B实验数据仓库到指标简介：数据仓库的建设是公司的基础数据基建，目前数仓的建立模型主要包括分层宽表建模或者是域原子建模两种区分。image.png
自负的鱼·2021-06-07 06:32

hadoop离线day08--数据仓库、Apache Hive

hadoop离线day08--数据仓库、ApacheHive今日内容大纲#1、数据仓库基础知识数仓是什么数据分析的平台面向分析数仓由何而来数仓核心特性数仓和数据库区别解决一个核心的误区：数仓绝不是大型数据库
Vics异地我就·2021-06-05 17:25

DataSkew —— 数据倾斜问题解析及解决方案实践总结小记

文章目录什么是数据倾斜数据倾斜的现象Hadoop中的数据倾斜Spark中的数据倾斜Hive中的数据倾斜数据倾斜产生的原因Hive数仓为何会出现DateSkewSpark为何会出现DateSkew数据倾斜的原因
扫地增·2021-06-05 12:31

拉链表工具化

拉链工具1拉链工具介绍1.1为什么要有拉链工具拉链表，是维护历史状态，以及最新状态数据的一种表，实际是保留了任意一条数据从创建、到不断完成更新的整个生命周期，它对于数仓的建设有着重要意义。
zhangyaxu·2021-06-05 10:46

百度、阿里、腾讯平台架构都熟悉，小米大数据平台架构OLAP架构演进是否了解

目录历史文章前言小米大数据平台OLAP架构演进一、数据仓库1、离线数据仓库的架构2、维度数据建模3、数据集市4、联机分析处理5、实时数据仓库6、实时数仓与离线数仓的对比二、kappa流批一体架构1、Kappa
Lansonli·2021-06-01 00:50

大数据必知必会系列——数仓分层架构及三层架构流程[新星计划]

文章目录引言数据仓库典型分层结构：`3层结构【ODS层、DW层和DA层】`数据分层的好处：京东的`数据仓库分层模式`，是根据标准的模型演化而来。总结引言大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,一个平凡而不平庸的人。学习大数据差不多一年了，笔者最近在整理大数据学习的笔记资料，这个系列是整理的一些大数据必知必会的知识。数据
ChinaManor·2021-05-28 21:52

做数仓运维，你必须要认识这个眼观六路耳听八方的“能人”

数仓智能运维服务体系是怎么做到的？》，原文作者：鲁大师。
华为云·2021-05-28 10:02
上一页 54 55 56 57 58 59 60 61 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他