数仓项目学习

大数据企业面试真题汇总三

（4）实时部分，canal监控主机，然后主机挂了，从机上位，这个过程中的数据变化咋办三百零二、（1）hive的优化（2）数仓分层及能否应用到公司投资业务上，需求实现（3）集群架构（
wespten·2023-10-30 19:57

人大与加拿大女王大学金融硕士项目——立即行动，才是缓解焦虑的解药

来人大与加拿大女王大学金融硕士项目学习，设定一个目标并为之不断努力，让自己充实起来，摆脱焦虑。立即行动，才是缓解焦虑的解药。凡事只有先去做了，才
王老师747·2023-10-30 18:08

电商API接口——实现数据同步的实时数据封装接口

常见的数据同步/集成场景多发生于不同的存储系统、不同的存储格式，如从mysql同步数据至数仓、excel或csv导入数据库中，但是众多数据同步解决方案很少涉及从http接口同步数据。
电商数据girl·2023-10-30 15:06

开源项目学习：若依RuoYi-Vue后台管理系统【项目运行】

开源项目学习-文章目录第一章环境搭建第二章项目运行第三章阅读源码：例子-新增用户接口第四章基于ruoyi-vue开发新项目文章目录开源项目学习-文章目录前言一、从Gitee克隆项目代码1.注册gitee2
什么小熊饼干·2023-10-30 13:17

数仓建模基本类型

如果数据仓库中采用这种建模方式，还有另外的好处就是可以直接将关系型数据库中数据直接导入数仓，减少了很多的建模工作。三范式建模的一个显而易见的缺点就是查询性能，因为需要跨表查询。
浮zai梦里·2023-10-30 03:29

基于Flink的实时计算平台的构建

消息队列的数据既是离线数仓的原始数据，也是实时计算的原始数据，这样可以保证实时和离线的原始数据是统一的。
美得冒泡oooo·2023-10-30 01:51

数仓知识04：行转列、列转行的含义及SQL示例

在构建数仓或做数据分析时，需要对原始数据的结构进行一定的处理，有时涉及到“行转列”，有时涉及到“列转行”，那么这两个转换的方式具体是什么，有什么差异，今天给大家做一下讲解。
维克先生·2023-10-29 16:33

Java面向对象（进阶）-- 拼电商客户管理系统（康师傅）

删除客户（5）客户列表三、软件设计结构四、类的设计（1）Customer类的设计（2）CustomerList类的设计（3）CustomerView类的设计（4）CMUtility工具类五、结果展示一、目标项目学习巩固目标
雨翼轻尘·2023-10-29 13:39

Spark系列 - 实时数仓之近1小时各个广告点击量实战（三）

  为了资源共用，我们的数据和上一篇文章一样，这个实战案例的技术和思想在现实开发的需求中还是比较常见的，以广告为例子，需求是：需求：统计各广告最近1小时内的点击量趋势一、Kafka消费主题的数据[root@cdh101kafka]#bin/kafka-console-consumer.sh--bootstrap-servercdh101:9092,cdh102:9092,cdh103:9092--
小飞牛_666·2023-10-29 07:57

数据人员常用名词解析：指标、标签、度量、口径、数据标准、血缘等

数据平台相关任务（Task）任务是对数据执行的操作的定义，示例如下：通过数据同步节点任务，将数据从RDS同步至数仓。通过SQL节点任务，运行SQL来进行数据的转换。
GOD_WAR·2023-10-29 04:19

大数据CDC技术

在数据备份容灾、数据分发、面向数仓的数据集成等场景中广泛应用。在增量数据识别中，增量捕获能否实现更多依赖于源端系统。
shinelord明·2023-10-28 21:33

开源大数据OLAP引擎最佳实践

一、开源OLAP综述二、开源数仓解决方案三、ClickHouse介绍四、StarRocks介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样，不同种类的引擎满足了我们不同的需求
zhisheng_blog·2023-10-28 21:59

Python+大数据-hadoop(五)--数据仓库、Apache 01

Python+大数据-hadoop(五)–数据仓库、Apache01今日课程学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解
呆猛的呆呆小哥·2023-10-28 21:56

【大数据概述】Hadoop技术栈

与关系型数据库关系3.Hadoop3.1.概述3.2.Hadoop生态技术3.2.1.概述3.2.2.架构4.Spark4.1.概述4.1.1.统一的引擎5.数据存储及处理的发展5.1.数据仓库5.2.数仓
vk-fengz·2023-10-28 21:17

Adventure项目python、数仓实现可视化看板总结

1.2项目操作流程image.png1.3项目流程框架BI项目流程框架.pngAdventure—BI看板根据上述项目介绍，以下主要从数仓获取数据、自动化py脚本处理、可视化报表搭建、自动化更新看板数据四方面
包哥宝爷小威武·2023-10-28 19:26

Flink SQL 在美团实时数仓中的增强与实践

摘要：本文整理自美团数据系统研发工程师董剑辉&美团数据系统研发工程师张彬，在FlinkForwardAsia2022平台建设专场的分享。本篇内容主要分为五个部分：FlinkSQL在美团SQL作业细粒度配置SQL作业变更支持从状态恢复SQL正确性问题排查能力建设未来展望点击查看直播回放和演讲PPT一、FlinkSQL在美团目前FlinkSQL在美团已有100+业务方接入使用，SQL作业数也已达到了5
Apache Flink·2023-10-28 14:57

实操指南 | Resource Queue如何实现对AnalyticDB PostgreSQL的资源管理？

在数据实时交互式分析、HTAP、ETL、BI报表生成等业务场景，ADBPG都有着独特的技术优势，在金融、物流、泛互联网等行业都有广泛的应用，是传统数仓上云、去O去T、替换自建Greenplum的标杆云上
阿里云云栖号·2023-10-28 03:59

Flink Streaming-Sink

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料100篇原创内容公众号圣诞节快乐该连接器提供了对Flink文件系统抽象支持的文件系统中的分区文件的访问.文件系统连接器本身就被包括在
hyunbar·2023-10-28 02:49

【遇见Doris】基于Doris的有道精品课数据中台建设实践

李荣谦有道精品课数据中台团队数据中台实时数仓负责人我们本次想要和大家分享一下有道精品课数据中台的架构演进过程，以及Doris作为一个MPP分析型数据库是如何为不断增长的业务体量提供有效支撑并进行数据赋能的
ApacheDoris·2023-10-28 02:44

如何基于 Apache Doris 与 Apache Flink 快速构建极速易用的实时数仓

为了适应业务快速迭代的特点，帮助企业提升数据生产和应用的时效性、进一步挖掘实时数据价值，实时数仓的构建至关重要。本文将分享如何基于ApacheDoris和ApacheFlink快速构建一个极速易
SelectDB技术团队·2023-10-28 02:40

搞流式计算，大厂也没有什么神话

只有一群年轻人，花了六年时间，一步一个脚印，从一开始的“不懂技术不懂业务”，最后承载起了字节内部流式计算平台以及应用场景的构建，支撑了机器学习平台、推荐、数仓、搜索、广告、流媒体、安全和风控等众多核心业务
字节跳动云原生计算·2023-10-27 23:23

幸福里基于 Flink & Paimon 的流式数仓实践

幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。
字节跳动云原生计算·2023-10-27 23:18

“淇”彩缤纷19

因为：本周是项目学习周-----平时的快节奏，终于可以舒缓一下下；平时的累，终于可以放松一下下。开心一吹！
201809·2023-10-27 16:23

SpringBoot实战项目学习（7）——进行统一的异常处理

文章目录项目结构pom.xml配置文件application.yml页面模板error.html状态码封装类Status异常类异常基类BaseExceptionJSON异常类JsonException页面处理异常类PageException通用API接口封装类ApiResponse统一异常处理类DemoExceptionHandler测试控制器TestController测试在SpringBoot
Felix_hyfy·2023-10-27 14:36

从数据仓库到数据中台，终于有人说清楚了

作者简介：王春波，《高效使用Greenplum：入门、进阶和数据中台》作者，“数据中台研习社”号主，十年数据开发从业者，资深零售数仓项目实施专家。
蚂蚁_8173·2023-10-27 12:25

又是第一！GBASE南大通用蝉联中国分析型数据库管理系统市场TOP1

在分析型数据库市场，GBASE自主研发的分布式逻辑数仓GBase8aMPPCluster与国外主流的数据仓库产品在金融、电信等领域同台竞技，技术实力领先，已在人民银行、中国农业银行总行、招商银
GBASE数据库·2023-10-27 08:47

Vue3-admin-element框架学习笔记----1（了解它）

Echarts5等最新技术开发的中后台管理模板,完整版本vue3-admin-element正在开发完善中-Gitee.com它的作用：一个基于js版本的中后台模板，一套开箱即用的中后台模板它的用处：后台管理等项目学习前
破浪前进·2023-10-27 04:16

万字详解数据质量那些事儿

在数据仓库建设的过程当中，大家是否会有这样的疑问:1）数仓分层模型是否需要严格遵守2）照本宣科建设的数仓貌似不好用3）如何评判一个数仓建设的质量好坏4）我的数据仓库还能做怎样的升级我们该如何解决这些问题
大数据兵工厂·2023-10-27 02:27

详解如何在数仓中管理元数据

‍‍‍‍大家好，元数据管理是企业数据治理的基础，是数据仓库建设的关键。作为一名数据人，首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位、场景及实践工具。01什么是元数据管理1、什么是元数据？元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（dataaboutdata）。抽象的描述：一组用于描述数据的数据组，该数据组的一切信息都描述了该
大数据技术派·2023-10-27 02:54

Clickhouse实时数仓建设

今天，笔者就为大家介绍如何使用Clickhouse来构建实时数仓，来满足一些实时性要求较高的使用场景。
程序猿小乙·2023-10-26 12:09

实时数仓Hologres 新一代弹性计算组实例技术揭秘

随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。
阿里云云栖号·2023-10-26 12:44

阿里云实时数仓Hologres年度发布，解读数仓新趋势

简介：阿里云实时数仓Hologres年度发布，解读数仓新趋势。
阿里云云栖号·2023-10-26 12:43

技术解读：实时数仓Hologres如何支持超大规模部署与运维

通过该评测，证明了阿里云实时数仓Hologres能够作为数据仓库和大数据平台的基础设施，可以满足用户建设大规模数据仓库和数据平台的需求，具备支撑关键行业核心业务数据平台的能力。
阿里云云栖号·2023-10-26 12:43

技术分享：从双11看实时数仓Hologres高可用设计与实践

简介：本文将会从阿里巴巴双11场景出发，分析实时数仓面临的高可用挑战以及针对性设计。2021年阿里巴巴双11完美落下为帷幕，对消费者来说是一场购物盛宴，对背后的业务支撑技术人来说，更是一场年度大考。
阿里云云栖号·2023-10-26 12:43

CCO x Hologres：实时数仓高可用架构再次升级，双11大规模落地

简介：本文将会介绍今年是如何在去年基础上进行实时数仓高可用架构升级，并成功大规模落地双11。
阿里云云栖号·2023-10-26 12:43

【附下载】实时数仓架构设计与选型

这是彭文华的第99篇原创好几位朋友在后台留言，说要看看各大厂都是咋玩实时数仓的。其实，实时数仓和离线数仓在模型设计的时候是一样一样的，只是需要计算引擎和存储不太一样而已。
大数据架构师Evan·2023-10-26 12:12

实时数仓 Hologres 如何支持超大规模部署与运维

阿里云实时数仓Hologres（原阿里云交互式分析）在报表任务、交互式查询、压力测试、稳定性等方面通过了中国信通院分布式分析型数据库性能评测（大规模），并以8192个节点刷新了通过该评测现有参评的规模记录
阿里云技术·2023-10-26 12:41

新一代Hologres实时数仓大揭秘

看支撑阿里内外部业务场景实时数仓是如何运作的？云计算情报局带您解密实时数仓！作者：金晓军（仙隐），阿里云资深技术专家，大数据领域从业10年，现从事交互式分析引擎Hologres设计与研发工作。
阿里云技术·2023-10-26 12:11

【Hologres】基于Hologres实时离线一体化数仓建设实践

0、案例业务背景在互联网大潮中，新东方在IT技术上也不断重构，持续投入大数据建设，研发大数据的相关技术和应用，从而快速而精准地响应业务需求，并用数据为集团各级领导提供决策依据。新东方的大数据应用主要包括两部分：企业应用端的业务场景（B端）：包括交易，教学，人员等数据，数据规模为TB级。数据会被按照不同的条件和学校层级等，形成营收、教学、客服、财富人事等实时报表，为CRM系统的成千上万名业务顾问提供
Impl_Sunny·2023-10-26 12:39

实时数仓Hologres

1.概述Hologres是阿里巴巴自主研发的一站式实时数仓引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（AdHoc
大数据开发工程师-宋权·2023-10-26 12:09

实时数仓Hologres 【快速了解】

什么是实时数仓HologresHologres是阿里巴巴自主研发的一站式实时数仓引擎（Real-TimeDataWarehouse），支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL
一阵暖风·2023-10-26 12:38

【Hologres】实时数仓

Hologres揭秘:深度解析高效率分布式查询引擎-阿里云开发者社区介绍xxx实时数仓发展背景介绍xxx实时数仓1.0从2019年开始搭建，基于KuduOLAP引擎构建，前期承载业务不多，任务量不大，运行稳定
奋斗者ing·2023-10-26 12:08

大数据实时（5）-Hologres实时数仓验证

目录：1、Hologres2、技术架构3、适用场景4、验证1、Hologres阿里的Hologres推出后，受到了很多关注，以几个方面的因素：1）Hologres作为MPP架构的一款大数据存储分析引擎，提供了很好的性能支撑；2）确实是解决了很多客户的问题，有一些大数据高并发的场景也能适用；3）是相较于ADB的产品，从官方资料方面，确实有很多的提升，但验证的结果如何，还是各有千秋；我们来看看官方的介
ly_zixuan·2023-10-26 12:08

从双11看实时数仓Hologres高可用设计与实践

在这场大考中，一站式实时数仓Hologres以每秒11.2亿条的高速写入，和每秒1.1亿次的查询峰值（包含点查和OLAP查询），交出了满意的答卷，稳定高效地支撑了阿里巴巴双11核心应用场景。
aliyunhologres·2023-10-26 12:37

实时数仓-Hologres介绍与架构

本文是向大家介绍Hologres是一款实时HSAP产品，隶属阿里自研大数据品牌MaxCompute，兼容PostgreSQL生态、支持MaxCompute数据直接查询，支持实时写入实时查询，实时离线联邦分析，低成本、高时效、快速构筑企业实时数据仓库（Real-TimeDataWarehouse）。1.HSAP理念与产品首先介绍下大数据相关实时业务场景，一般有实时大屏、实时BI报表、用户画像和监控预
高阳很捷迅·2023-10-26 12:37

2023 Datawhale数据分析实习面经

了解数仓吗？4.编程题：(1)两数之和(2)求根号2，误差在0.01之内(二分)5.sql题：(1)行去重(2)求每个用户某一列的最大值6.业务场景题100万经费，给用户发优惠卷--->拉新或者
深度之眼·2023-10-26 07:13

AnalyticDB for PostgreSQL 6.0 新特性介绍

ADBPG6.0版本大幅提升并发事务处理能力，更好的满足实时数仓场景，同时通过事务锁等优化，完
阿里云技术·2023-10-26 03:07

尚硅谷大数据项目《在线教育之实时数仓》笔记003

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第7章数仓开发之ODS层P015第8章数仓开发之DIM层P016P017P018P01901、node001节点Linux
upward337·2023-10-26 02:44

我在叽里呱啦折腾 DolphinScheduler 的日子

前言“工欲善其事，必先利其器”在2019年进行数仓建设时，选择一款易用、方便、高效的调度系统被摆在非常突出的位置，感谢前同事马振洋同学和杨孟霏同学的付出，最终有缘选择了DolphinScheduler的前身
DolphinScheduler社区·2023-10-25 19:23

阿里云云原生一体化数仓 — 数据建模新能力解读

2020年之前，DataWorks支持的是开发视角、自底向上、小步快跑，快速满足业务需求为首要目标的数仓构建模式，然而随着内部数据模型越来越多，线下评审流程越来越复杂，淘宝、天猫、盒马、菜鸟等多个数据仓团队开始和
阿里云技术·2023-10-25 14:35
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他