实时计算（数仓）

Flink CDC 详述实时数据湖

在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖ApacheIceberg两种技术，来解决业务数据实时入湖相关的问题。
000X000·2024-02-02 12:01

如何推动埋点管理项目的落地

一埋点管理常见痛点分析埋点数据作为三大数据来源之一，具有应用场景多、数据量级大等特点，上能影响数据分析、推荐、AB实验的准确性，下能影响数仓结构设计和维护成本，其重要性不言而喻。
一个数据人的自留地·2024-02-02 06:01

oracle计算年龄

前言在我们日常实际业务中，可能需要根据某人出生日期、身份证号码来实时计算年龄，网上也有多种计算方法，但其实原理或者技巧基本一样。
原来是大表哥·2024-02-02 04:22

数据仓库表级血缘应用

数仓血缘应用（一）：表血缘热度文章目录数仓血缘应用（一）：表血缘热度前言一、价值衡量指标——应用层二、血缘节点应用——热度1、指标透传（应用层——>数仓）2、指标应用（热度）2.1、数仓血缘节点关系2.2
零壹Ture·2024-02-02 02:24

oracle数仓rac两个节点查询耗时不一致问题处理

问题描述数据库节点1查询比节点2查询慢。现场操作应用发现发现同一sql语句在节点2上只要2分钟左右，在节点1，该条sql执行要超过30分钟。处理过程根据问题，初步判断是由于错误的执行计划，导致性能问题，但实际上对两个节点做trace跟踪发现执行计划都一致，后续通过awr报告和10046事件跟踪发现由于“gccrmultiblock”耗时造成节点一慢，这是oracleRAC大事务处理特性，两边都查有
烟雨归来·2024-02-01 09:23

大数据开发之离线数仓项目（用户行为采集平台）（可面试使用）

第1章：数据仓库概念数据仓库，是为企业指定决策，提供数据支持的，可以帮助企业，改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在mysql、oracle等数据库中。用户行为数据：用户
Key-Key·2024-02-01 08:46

线段树1板子 区间加

目录线段树的结构关系：int作为下标的：longlong作为下标的：类的构造函数写在类最后了，本板子没有将左右下标封装到节点中，而是实时计算的。
DBWG·2024-01-31 21:22

多表拆解 | 数据PM的工作内容

之前一篇文章介绍了我司数据体系搭建过程，见：埋点、数仓到中台：数据体系的从0到1为了区分数据产品和数据产品经理，下文会用数据产品和数据PM来区分。
PMCAFF产品社区·2024-01-31 21:47

数据建模分析与数仓维度建模规范

数据建模在数仓管理、数据库设计、算法模型训练等领域都有着重要的作用。
i7杨·2024-01-31 20:57

Python入门教程，30分钟玩转Python编程！

一、Python入门二、Python爬虫三、数据分析四、数据库与ETL数仓五、机器学
老-程序员·2024-01-31 18:50

大厂 5 年实时数据开发经验总结，Flink SQL 看这篇就够了！

本文摘编于《FlinkSQL与DataStream入门、进阶与实战》（500页、70万字）作者羊艺超，目前就职于快手，国内最早一批FlinkSQL使用者拥有从0到1使用FlinkSQL建设、保障及治理实时数仓的丰富经验京东机械工业出版社旗舰店限时
zhisheng_blog·2024-01-31 15:29

flink sql运用入门

1：下载#步骤2：启动集群#步骤3：提交作业（Job）#步骤4：停止集群#三、SQL客户端#1、准备sql涉及的lib包2、编写sql脚本3、webui查看总结前言目前我司项目中有实时大屏的需求，涉及实时计算部分的选型
yc_zlj·2024-01-31 11:21

HBase表结构

一般我们从数仓中离线统计分析海量数据，将得到的结果插入HBase中用于实时查询。表结构hbase在表中组织数据。表名是字符串和字符的组合，可以在文件系统路径中使用这里以一个公
内向仓鼠·2024-01-31 07:55

实时计算平台

Flink实时计算平台架构Flink+kafka+clickHouse+mysql+postgresql
xfchn多多学习学习·2024-01-31 07:24

Databend 开源周报第 130 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-31 04:28

数据仓库实践杂谈（十八）——关于报表

整体数据分层第三章：整体实现框架第四章：元数据第五章：ETL第六章：数据校验第七章：数据标准化第八章：去重第九章：增量/全量第十章：拉链处理第十一章：分布式处理增量第十二章：列式存储第十三章：逻辑数据模型（数仓模型
老程序员一叶知秋·2024-01-30 18:45

字节跳动二面经典题目

欢迎关注公众号：语数本期投稿本期语数精选来源于球友应对字节跳动二面时候的场景问题数仓工程师的职业规划做数仓工程师要具备哪些点，按照重要性排序gpt在数据分析中的应用实习项目的收益价值在哪里？
语兴数据·2024-01-30 15:31

一文掌握0基础如何体系化学习数仓

欢迎关注公众号：语数2本期精选问题如何校验开发好的数仓指标？如果你是公司的分析师，应该如何分析数据？0基础如何体系化学习数仓？
语兴数据·2024-01-30 15:01

当你要做数仓汇报时，应该怎么讲故事？

语数精选简介语数精选来源于语数社区星球球友提问，主要沉淀一些大家工作和学习过程中存在的一些共性问题，希望能够更好的帮助到球友和粉丝。欢迎关注公众号：语数本期精选问题提问背景：了解高效的学习方向和针对性的学习路线，利用业余时间修炼自己，希望2年后收入和职级能有所提高。当下应制定怎样的学习路线？有哪些模块应深入学习或者考证？什么是指标体系，如何推动？如何方便领导讲故事，证明我司是有数据能力一、高效制定
语兴数据·2024-01-30 15:01

揭秘：数仓开发面试真正需要注意的点

怎样保障数仓数据的一致性？
语兴数据·2024-01-30 15:30

以数仓视角切入学习路线，大数据真正需要学习的内容有哪些？

本期精选问题作为数仓开发，需要学习哪些大数据基础知识？当整个数据链路过长时，如何进行模型优化？
语兴数据·2024-01-30 15:30

数仓建设学习路线（四）-指标体系建设

指标体系建设目的与下游（风控/bi）达成合作，保障指标建设时口径的统一，完成指标覆盖，提升复用性，通过可视化方式提升查询效率指标中心图指标体系建设难点能否与下游达成共识（沟通）指标能否做到数仓收口
语兴数据·2024-01-30 15:00

我在面试时写了这个，面试官对我刮目相看

孟哥介绍前字节跳动高级开发，军工企业数仓某线负责人，曾面试过上百人，看过2000余份简历。
语兴数据·2024-01-30 15:00

数仓建设学习路线（五）-数据质量保障

也使得下游业务方对数据用的放心数据质量的痛点有哪些数据问题该如何上报修复，缺少流程化数据链路缺少卡点保障数据不能及时产出影响到下游用数用户无感知，除了发现的数据问题，隐藏的数据问题仍存在很多人会有一种想法，做了这么久的数仓为什么还存在质量问题
语兴数据·2024-01-30 15:00

数仓建设学习路线（三）元数据管理

什么是元数据？简单来说就是描述数据的数据，更直白来说就是描述表名、表制作者、表字段、表生命周期、表存粗等信息的数据元数据该如何管理工具化开源：可通过atlas获取表依赖及信息做二次开发，或者完成可视化界面平台化：数据血缘数据血缘功能清晰知道表/任务上下游，方便排查问题，知道下游哪个模块在使用，提升开发效率及后期管理维护数据血缘类型活跃血缘：指离线开发线上调度产出的血缘，且调度持续生效静默血缘：指离
语兴数据·2024-01-30 15:59

数据治理实践 | 网易某业务线的计算资源治理

写在前面感谢关注，更多资料可以关注公众号语数，也可关注B站同名：语兴呀，一起学习数仓建设。前言本文从计算资源治理实践出发，带大家清楚认识计算资源治理到底该如何进行，并如何应用到其他项目中。
语兴数据·2024-01-30 15:29

数据治理实践 | 小文件治理

小文件是数仓侧长期头痛问题，它们会占用过多的存储空间，影响查询性能。因此，我们需要采取一些措施来对小文件进行治理，以保证Hive的高效性和稳定性。
语兴数据·2024-01-30 15:29

回响科技二面面试题解答

面试题1、你们的数仓中DWD层为什么要划分数据域？划分数据域之后会对ADS层造成什么影响？是可以提效还是可扩展性强？你们是如何考虑的呢？
语兴数据·2024-01-30 15:58

数仓工具使用-Datax

前置-解决中文乱码问题解决方案-在mysql中执行usehive;altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8;altertableTABLE_PARAMSmodifycolumnPARAM_VALUEvarchar(4000)charactersetutf8;altertablePARTITION_PARA
t_813·2024-01-30 06:07

申万宏源基于 StarRocks 构建实时数仓

作者：申万宏源证券实时数仓项目组小编导读：申万宏源证券有限公司是由新中国第一家股份制证券公司——申银万国证券股份有限公司与国内资本市场第一家上市证券公司——宏源证券股份有限公司，于2015年1月16日合并组建而成
StarRocks_labs·2024-01-29 18:23

美团外卖搜索基于Elasticsearch的优化实践

1.前言最近十年，Elasticsearch已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。
架构未来·2024-01-29 17:07

数据仓库模型设计：从架构到实践的全方位指南

一、数仓模型架构在构建数据仓库时，首先需要明确模型架构，以确保数据仓库的高内聚和低耦合，以及数据的分层管理。
猿来孺词·2024-01-29 10:51

数仓-数据安全

文章内容参考：数仓建设实践路线-第十一讲-数据安全_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地
爱吃辣条byte·2024-01-28 23:41

数仓治理-小文件治理

注：文章参考:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]HDFS小文件处理-腾讯云开发者社区-腾讯云HDFS小文件过多会对hadoop扩展性以及稳定性造成影响,因为要在namenode上存储维护大量元信息.https://
爱吃辣条byte·2024-01-28 23:40

数仓-数据质量

文章内容参考：数仓建设实践路线-第八讲-数据质量_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地。
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据质量治理

注：文章参考：语数-数据质量治理本期语兴从数据质量治理角度出发，与大家一起探讨数据质量治理最佳实践，之前的数据治理文章在网易有数官方公众号，数据治理课程讲解在B站（搜索：语兴呀）https://mp.weixin.qq.com/s/uoHlA64q1K_WHVYLPRucHQ目录一、数据质量治理的背景1.1BUG工单较多1.2DQC（数据质量监控）常触发1.3基线/SLA经常破线二、数据质量治理识
爱吃辣条byte·2024-01-28 23:10

数仓治理-计算资源治理

mp.weixin.qq.com/s/w6d5zhDaaavNhW_DMEkPsQ目录一、计算资源治理的背景二、计算资源问题复盘三、计算资源治理前的思考与行动3.1治理前的思考3.2治理行动四、治理效果五、小结前言业务成熟期，数仓经常会收到集
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据安全治理

一、数据安全治理的背景存在敏感数据泄露、数据安全审批节点过长、风险数据对外暴露、数据使用权限（库、表年、字段）闲置情况。二、数据安全治理前评估2.1数据安全问题评估存在安全隐患的评估角度：审批流程缺少数据使用说明次数、被业务方发现数据安全问题次数等。2.2数据表审批链路评估基于每个节点的审批时间去做整个链路的评估，必要时需要进行链路缩短。数据表的内容一般包括申请人，审批人，节点层级，工单处理内容等
爱吃辣条byte·2024-01-28 23:10

数据湖技术之核心特性篇

一.湖仓一体关键技术特性原有的数仓模式为业务解决了很大的业务需求问题，很好的服务于公司的数据分析服务。但是由于本身的一些机制问题，导致一些方面受到了限制，无法更好的去扩展。
风筝Lee·2024-01-28 18:58

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样在大数据时代，数据仓库、中台和报表平台等概念逐渐成为企业数字化转型的热门话题。然而，不同职位和背景的人对这些概念的理解可能存在差异。
UI设计前端开发一线员工·2024-01-27 19:03

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

【摘要】本文讲解GaussDB（DWS）集群通信技术如何在大规模集群中承载高并发业务，如何实现高性能分布式通信系统。主要讲述客户端、CN、DN三类进程间的通信原理和流程，分为CN通信框架和DN间通信框架。数据仓库服务GaussDB（DWS）是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB（DWS）是基于华为融合数据仓库Gaus
IT民工金鱼哥·2024-01-27 18:29

2021-03-07

MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive=====>基于Hadoop的数仓工具
残月冷无声·2024-01-27 10:39

关于数据漂移问题和解决

数据漂移问题出现的背景我们通常构建数仓的ODS层时，会考虑按照某个时间戳将数据切分后分区存储。ODS表中常出现的时间戳分为四个类型：源表中标识数据记录更新的时间戳字段，modified_time。
眼君·2024-01-27 09:30

Hive实战 —— 电商数据分析(全流程详解 真实数据)

目录前言需求概述数据清洗数据分析一、前期准备二、项目1.数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2.明细层建表为什么要构建时间维度表
Byyyi耀·2024-01-27 08:25

从Elasticsearch来看分布式系统架构设计

从Elasticsearch来看分布式系统架构设计-知乎分布式系统类型多，涉及面非常广，不同类型的系统有不同的特点，批量计算和实时计算就差别非常大。
大叶子不小·2024-01-26 10:11

产品解读 | 新一代湖仓集存储，多模型统一架构，高效挖掘数据价值

推出了新一代湖仓集存储格式Holodesk，一份数据满足数据湖的离线实时接入、数仓的复杂加工以及数据集市的分析需求。避免数
星环科技·2024-01-26 07:40

星环科技基于第五代英特尔®至强®可扩展处理器的分布式向量数据库解决方案重磅发布

该方案利用第五代英特尔®至强®可扩展处理器带来的强大算力，实现了约2倍的代际性能提升，可有效满足大模型时代海量、高维向量的存储和计算需求，能够帮助企业更好地应对大模型时代海量、多维向量数据的高并发和实时计算等挑战
星环科技·2024-01-26 07:00

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新
Apache Flink·2024-01-26 06:15

基于 Flink 的实时数仓在曹操出行运营中的应用

本次分享将为大家介绍实时数仓在曹操出行（互联网网约车出行企业）的实时数仓应用场景，以及通过离线场景向实时场景下加速升级而获得的业务价值。
Apache Flink·2024-01-26 06:15

阿里云Flink sql 基本使用手册

参考文档参考实时计算Flink版-帮助中心-阿里云https://help.aliyun.com/product/45029.html1维度表CREATETEMPORARYTABLEdatahub_source
中本聪·2024-01-26 06:38
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他