数仓学习专栏

字节跳动二面经典题目

欢迎关注公众号：语数本期投稿本期语数精选来源于球友应对字节跳动二面时候的场景问题数仓工程师的职业规划做数仓工程师要具备哪些点，按照重要性排序gpt在数据分析中的应用实习项目的收益价值在哪里？
语兴数据·2024-01-30 15:31

一文掌握0基础如何体系化学习数仓

欢迎关注公众号：语数2本期精选问题如何校验开发好的数仓指标？如果你是公司的分析师，应该如何分析数据？0基础如何体系化学习数仓？
语兴数据·2024-01-30 15:01

当你要做数仓汇报时，应该怎么讲故事？

语数精选简介语数精选来源于语数社区星球球友提问，主要沉淀一些大家工作和学习过程中存在的一些共性问题，希望能够更好的帮助到球友和粉丝。欢迎关注公众号：语数本期精选问题提问背景：了解高效的学习方向和针对性的学习路线，利用业余时间修炼自己，希望2年后收入和职级能有所提高。当下应制定怎样的学习路线？有哪些模块应深入学习或者考证？什么是指标体系，如何推动？如何方便领导讲故事，证明我司是有数据能力一、高效制定
语兴数据·2024-01-30 15:01

揭秘：数仓开发面试真正需要注意的点

怎样保障数仓数据的一致性？
语兴数据·2024-01-30 15:30

以数仓视角切入学习路线，大数据真正需要学习的内容有哪些？

本期精选问题作为数仓开发，需要学习哪些大数据基础知识？当整个数据链路过长时，如何进行模型优化？
语兴数据·2024-01-30 15:30

数仓建设学习路线（四）-指标体系建设

指标体系建设目的与下游（风控/bi）达成合作，保障指标建设时口径的统一，完成指标覆盖，提升复用性，通过可视化方式提升查询效率指标中心图指标体系建设难点能否与下游达成共识（沟通）指标能否做到数仓收口
语兴数据·2024-01-30 15:00

我在面试时写了这个，面试官对我刮目相看

孟哥介绍前字节跳动高级开发，军工企业数仓某线负责人，曾面试过上百人，看过2000余份简历。
语兴数据·2024-01-30 15:00

数仓建设学习路线（五）-数据质量保障

也使得下游业务方对数据用的放心数据质量的痛点有哪些数据问题该如何上报修复，缺少流程化数据链路缺少卡点保障数据不能及时产出影响到下游用数用户无感知，除了发现的数据问题，隐藏的数据问题仍存在很多人会有一种想法，做了这么久的数仓为什么还存在质量问题
语兴数据·2024-01-30 15:00

数仓建设学习路线（三）元数据管理

什么是元数据？简单来说就是描述数据的数据，更直白来说就是描述表名、表制作者、表字段、表生命周期、表存粗等信息的数据元数据该如何管理工具化开源：可通过atlas获取表依赖及信息做二次开发，或者完成可视化界面平台化：数据血缘数据血缘功能清晰知道表/任务上下游，方便排查问题，知道下游哪个模块在使用，提升开发效率及后期管理维护数据血缘类型活跃血缘：指离线开发线上调度产出的血缘，且调度持续生效静默血缘：指离
语兴数据·2024-01-30 15:59

数据治理实践 | 网易某业务线的计算资源治理

写在前面感谢关注，更多资料可以关注公众号语数，也可关注B站同名：语兴呀，一起学习数仓建设。前言本文从计算资源治理实践出发，带大家清楚认识计算资源治理到底该如何进行，并如何应用到其他项目中。
语兴数据·2024-01-30 15:29

数据治理实践 | 小文件治理

小文件是数仓侧长期头痛问题，它们会占用过多的存储空间，影响查询性能。因此，我们需要采取一些措施来对小文件进行治理，以保证Hive的高效性和稳定性。
语兴数据·2024-01-30 15:29

回响科技二面面试题解答

面试题1、你们的数仓中DWD层为什么要划分数据域？划分数据域之后会对ADS层造成什么影响？是可以提效还是可扩展性强？你们是如何考虑的呢？
语兴数据·2024-01-30 15:58

数仓工具使用-Datax

前置-解决中文乱码问题解决方案-在mysql中执行usehive;altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8;altertableTABLE_PARAMSmodifycolumnPARAM_VALUEvarchar(4000)charactersetutf8;altertablePARTITION_PARA
t_813·2024-01-30 06:07

申万宏源基于 StarRocks 构建实时数仓

作者：申万宏源证券实时数仓项目组小编导读：申万宏源证券有限公司是由新中国第一家股份制证券公司——申银万国证券股份有限公司与国内资本市场第一家上市证券公司——宏源证券股份有限公司，于2015年1月16日合并组建而成
StarRocks_labs·2024-01-29 18:23

美团外卖搜索基于Elasticsearch的优化实践

1.前言最近十年，Elasticsearch已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。
架构未来·2024-01-29 17:07

数据仓库模型设计：从架构到实践的全方位指南

一、数仓模型架构在构建数据仓库时，首先需要明确模型架构，以确保数据仓库的高内聚和低耦合，以及数据的分层管理。
猿来孺词·2024-01-29 10:51

数仓-数据安全

文章内容参考：数仓建设实践路线-第十一讲-数据安全_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地
爱吃辣条byte·2024-01-28 23:41

数仓治理-小文件治理

注：文章参考:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]HDFS小文件处理-腾讯云开发者社区-腾讯云HDFS小文件过多会对hadoop扩展性以及稳定性造成影响,因为要在namenode上存储维护大量元信息.https://
爱吃辣条byte·2024-01-28 23:40

数仓-数据质量

文章内容参考：数仓建设实践路线-第八讲-数据质量_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地。
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据质量治理

注：文章参考：语数-数据质量治理本期语兴从数据质量治理角度出发，与大家一起探讨数据质量治理最佳实践，之前的数据治理文章在网易有数官方公众号，数据治理课程讲解在B站（搜索：语兴呀）https://mp.weixin.qq.com/s/uoHlA64q1K_WHVYLPRucHQ目录一、数据质量治理的背景1.1BUG工单较多1.2DQC（数据质量监控）常触发1.3基线/SLA经常破线二、数据质量治理识
爱吃辣条byte·2024-01-28 23:10

数仓治理-计算资源治理

mp.weixin.qq.com/s/w6d5zhDaaavNhW_DMEkPsQ目录一、计算资源治理的背景二、计算资源问题复盘三、计算资源治理前的思考与行动3.1治理前的思考3.2治理行动四、治理效果五、小结前言业务成熟期，数仓经常会收到集
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据安全治理

一、数据安全治理的背景存在敏感数据泄露、数据安全审批节点过长、风险数据对外暴露、数据使用权限（库、表年、字段）闲置情况。二、数据安全治理前评估2.1数据安全问题评估存在安全隐患的评估角度：审批流程缺少数据使用说明次数、被业务方发现数据安全问题次数等。2.2数据表审批链路评估基于每个节点的审批时间去做整个链路的评估，必要时需要进行链路缩短。数据表的内容一般包括申请人，审批人，节点层级，工单处理内容等
爱吃辣条byte·2024-01-28 23:10

数据湖技术之核心特性篇

一.湖仓一体关键技术特性原有的数仓模式为业务解决了很大的业务需求问题，很好的服务于公司的数据分析服务。但是由于本身的一些机制问题，导致一些方面受到了限制，无法更好的去扩展。
风筝Lee·2024-01-28 18:58

如何通过写作打造个人品牌？

所以你订阅了【得到】某学习专栏提升认知，又参加了【混沌大学】产品课程班，貌似还应该去【樊登读书会】读几本书，最后再来个【每日打卡群】督促自己一下。
星仔PPT·2024-01-28 01:55

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样在大数据时代，数据仓库、中台和报表平台等概念逐渐成为企业数字化转型的热门话题。然而，不同职位和背景的人对这些概念的理解可能存在差异。
UI设计前端开发一线员工·2024-01-27 19:03

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

【摘要】本文讲解GaussDB（DWS）集群通信技术如何在大规模集群中承载高并发业务，如何实现高性能分布式通信系统。主要讲述客户端、CN、DN三类进程间的通信原理和流程，分为CN通信框架和DN间通信框架。数据仓库服务GaussDB（DWS）是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB（DWS）是基于华为融合数据仓库Gaus
IT民工金鱼哥·2024-01-27 18:29

2021-03-07

MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive=====>基于Hadoop的数仓工具
残月冷无声·2024-01-27 10:39

关于数据漂移问题和解决

数据漂移问题出现的背景我们通常构建数仓的ODS层时，会考虑按照某个时间戳将数据切分后分区存储。ODS表中常出现的时间戳分为四个类型：源表中标识数据记录更新的时间戳字段，modified_time。
眼君·2024-01-27 09:30

Hive实战 —— 电商数据分析(全流程详解 真实数据)

目录前言需求概述数据清洗数据分析一、前期准备二、项目1.数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2.明细层建表为什么要构建时间维度表
Byyyi耀·2024-01-27 08:25

Android修行手册 - 一套源码发布多个apk（多包名，多名称，多Logo）

Unity3D特效百例案例项目实战源码Android-Unity实战问题汇总游戏脚本-辅助自动化Android控件全解手册再战Android系列Scratch编程案例软考全系列Unity3D学习专栏蓝桥系列
芝麻粒儿·2024-01-26 08:30

产品解读 | 新一代湖仓集存储，多模型统一架构，高效挖掘数据价值

推出了新一代湖仓集存储格式Holodesk，一份数据满足数据湖的离线实时接入、数仓的复杂加工以及数据集市的分析需求。避免数
星环科技·2024-01-26 07:40

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新
Apache Flink·2024-01-26 06:15

基于 Flink 的实时数仓在曹操出行运营中的应用

本次分享将为大家介绍实时数仓在曹操出行（互联网网约车出行企业）的实时数仓应用场景，以及通过离线场景向实时场景下加速升级而获得的业务价值。
Apache Flink·2024-01-26 06:15

自动弹性，QPS线性提升｜一文读懂云原生数仓AnalyticDB弹性技术原理

阿里云瑶池旗下的云原生数仓AnalyticDBMySQL湖仓版（以下简称AnalyticDBMySQL）在发布之初提供了定时弹性功能，帮助业务有规律的客户定时升降配计算资源以节省成本。
阿里云瑶池数据库·2024-01-26 06:56

基于 Hologres+Flink 的曹操出行实时数仓建设

云布道师曹操出行创立于2015年5月21日，是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务，以“科技重塑绿色共享出行”为使命，将全球领先的互联网、车联网、自动驾驶技术以及新能源科技，创新应用于共享出行领域，以“用心服务国民出行”为品牌主张，致力于打造服务口碑最好的出行品牌。曹操出行业务背景介绍作为一家互联网出行平台，主要提供了网约车、顺风车、专车等一些出行服务。打车为其主要的一个业务场景
云布道师·2024-01-25 20:23

spring mvc Rest风格

南城余的Java学习专栏收录该内容70篇文章0订阅我是南城余！阿里云开发者平台专家博士证书获得者！欢迎关注我的博客！一同成长！一名从事运维开发的worker，记录分享学习。
南城余coding·2024-01-25 18:30

大数据分析组件Hive-集合数据结构

Hive常作为离线数仓的分析工具，当面临Json数据时，Hive需要用到其数据结构构建出一张
Aimyon_36·2024-01-25 15:15

【Java系列】详解多线程（三）—— 线程安全（下篇）

个人主页：兜里有颗棉花糖欢迎点赞收藏✨留言✉加关注本文由兜里有颗棉花糖原创收录于专栏【Java系列专栏】【JaveEE学习专栏】本专栏旨在分享学习Java的一点学习心得，欢迎大家在评论区交流讨论目录一、
兜里有颗棉花糖·2024-01-25 01:19

Flink（十五）【Flink SQL Connector、savepoint、CateLog、Table API】

前言今天一天争取搞完最后这一部分，学完赶紧把Kafka和Flume学完，就要开始做实时数仓了。据说是应届生得把实时数仓搞个80%~90%才能差不多找个工作，太牛马了。
让线程再跑一会·2024-01-24 07:17

【Unity-UGUI控件全面解析】| ScrollView 滚动视图组件详解

ScrollView滚动视图组件详解一、组件介绍二、组件属性面板三、代码操作组件四、组件常用方法示例总结博客主页：https://xiaoy.blog.csdn.net本文由呆呆敲代码的小Y原创，首发于CSDN学习专栏推荐
呆呆敲代码的小Y·2024-01-24 01:19

Unity零基础到进阶 ☀️| 音频源Audio Source组件 详解

组件属性面板三、代码操作组件四、组件常用方法示例五、组件相关扩展1.在Unity中听不到声音的问题总结博客主页：https://xiaoy.blog.csdn.net本文由呆呆敲代码的小Y原创，首发于CSDN学习专栏推荐
呆呆敲代码的小Y·2024-01-24 01:19

企业建数仓的第一步是选择一个好用的ETL工具

而选择合适的ETL工具是构建数仓的关键一步。因没有高灵活度的ETL就无法构建高质量的数仓。数据仓库的重要性数据仓库是企业将各个部门和系统中分散的数据进行整合、清洗和分析的基础
苛子·2024-01-23 20:36

用flinkcdc debezium来捕获数据库的删除内容

但是我现在情况是doris做为数仓，数据写到ods，ods的数据还会通过flink计算后写入dwd层，所以此时ods的数据是删除了，但是dwd甚至ads的都没删除，这样就会有脏数据。
后季暖·2024-01-23 11:17

Hive 拉链表详解及实例

拉链表版本迭代：hive0.14slowlychangingdimension=>hive2.6.0merge事务管理原来采用分区表，用户分区存储历史增量数据，缺点是重复数据太多定义：数仓用于解决持续增长且存在一定时间时间范围内重复的数据存储
Byyyi耀·2024-01-23 06:45

Hive 数仓及数仓设计方案

数仓(DataWarehouse)数据仓库存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供一个统一、规范的出口。做数仓就是做方案，是用数据治理企业的方案。
Byyyi耀·2024-01-23 06:34

flume案例

在构建数仓时，经常会用到flume接收日志数据，通常涉及到的组件为kafka，hdfs等。下面以一个flume接收指定topic数据，并存入hdfs的案例，大致了解下flume相关使用规则。
不加班程序员·2024-01-23 06:48

数仓建设 - 维度建模 - DIM维度

文章目录前置：准备数据库一、商品维度表1.1表结构设计1.2建表语句1.3ETL任务脚本二、优惠券维度表2.1表结构设计2.2ETL任务脚本三、活动维度表3.1表结构设计3.2ETL任务脚本四、地区维度表4.1表结构设计4.2ETL任务脚本五、日期维度表六、用户维度表6.1表结构设计6.2ETL任务脚本前置：准备数据库[[email protected]]$
m0_46218511·2024-01-23 05:14

Databend 开源周报第 128 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-23 03:01

Databend 开源周报第 129 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-23 03:31

Flink背景

数仓简介在信息爆炸的时代，为了从海量数据中洞察业务价值，驱动运营决策，企业通常会构建用于数据分析的数据仓库。
201001070·2024-01-22 08:31
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他