实时计算（数仓）

面经-数仓-高途

1.hive和spark差异，优劣2.sql连续3天登陆3.sql行转列，列转行4.多维度groupingsets5.python装饰器6.数据质量7.sql关联键数据类型不一致，会有什么结果1.flink过程，算子2.druid和其他框架3.ch4.es和mysql和hbase
piscessssss·2023-11-09 03:06

博时基金数据开发面经

4、数仓的数据量多大？5、除了o层，数仓有多少任务？6、数仓的任务要跑多久？7、外部数据平台数据的流向？8、外部数据平台有哪些数据入到数仓？9、数据交换平台的应用场景？10、你们大数据平台几个节点？
大数据的奇妙冒险·2023-11-09 03:06

数仓面试题（3）

1.内部表和外部表的区别：内部表是存储在关系型数据库中的表，而外部表是存储在文件系统或其他数据源中的表。内部表的数据由数据库管理系统进行管理和访问，而外部表则需要使用特定的连接器或接口进行访问和操作。此外，内部表的存储空间是有限的，而外部表则可以存储非常大的数据集。2.MapReduce的工作流程：MapReduce是一种编程模型，用于处理大规模数据集。它分为两个阶段：Map阶段和Reduce阶段
Young_IT·2023-11-09 03:34

大数据入职阿里云面经

条理清晰阅读方便，转载是为了方便以后个人查阅https://mp.weixin.qq.com/s/F2TiFw-LYFXMRj_hsD-TIw一、面试准备面试前，我花了很多时间，对项目进行了梳理，尤其在业务数仓的分层和多维数据模型设计这块
Zsigner·2023-11-09 03:34

数仓经典面试题

1.什么是数据仓库？请谈谈你对数据仓库的理解。数据仓库是一个用于存储和管理数据的系统，它可以将分散的、异构的数据源中的数据进行抽取、转换、清洗和整合，然后按照一定的模型和架构进行组织和存储，以便更好地支持决策分析和业务操作。数据仓库通常包括数据源、ETL（提取、转换、加载）过程、数据存储和数据查询等组成部分。2.什么是数据中台？请谈谈你对数据中台的理解。数据中台是一个集数据采集、数据处理、数据存储
Young_IT·2023-11-09 03:04

数仓面经大框架

1.计算机及编程基础：操作系统：进程、线程等数据结构：算法题计算机网络：分层等Linux：常用的指令MySQL（重点）Java/Python基础排序算法（快排、归并等）2.大数据组件Hadoop:HDFS(重点)，MapReduce(重点),YarnSparkHive从功能，原理，组成，运行流程调优(重点)，Hive调优(参数、sql)，Spark调优(资源、开发算子、数据倾斜、参数)3.数据仓库
Young_IT·2023-11-09 02:03

Databend 开源周报第 113 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-08 20:08

Databend 开源周报第 114 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-08 20:08

Databend 开源周报第 117 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-08 20:08

Databend 开源周报第 118 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-08 20:36

阿里云认证 | 2023年ACP认证考试大揭秘

它涵盖了大数据计算服务、大数据开发与治理平台、实时计算、实时数据仓库、检索分析服务、数据湖、大数据分析与可视化等多个方面的内容。
HCIE考证研究所·2023-11-08 16:24

Flink SQL TopN语句详解

TopN定义（⽀持Batch\Streaming）：TopN对应离线数仓的row_number()，使⽤row_number()对某⼀个分组的数据进⾏排序。
猫猫爱吃小鱼粮·2023-11-08 09:14

基于亚马逊云科技Serverless架构的实时数仓架构

近年来，各级政府和企业响应数字化转型的号召，都已开始或者即将开始数字化转型。各类企业通过前期的业务线上化、信息化，积累了大量数据，而数字化转型就是要聚合这些数据，进行深入挖掘分析，用数据来驱动业务，用数据来支撑决策、用数据来推动业务和商业模式创新、推动业务流程优化，进而实现降本增效。要实现数据价值，建设数据仓库是在数字化转型过程中不得不面对的一项任务。数据仓库汇聚各个业务部门数据，避免数据孤岛，使
Discovering_·2023-11-08 05:50

数仓删数方案

数仓删数一、源头逻辑删除二、源头物理删除方案一:物理删除方案二:逻辑删除一、源头逻辑删除源头有逻辑删除标志的话,数仓直接同步过来,推数的时候可限制isvalid=1二、源头物理删除数仓中的数据需要与源头进行全量核对方案一
我爱夜来香A·2023-11-07 13:56

Lambda 架构 vs Kappa 架构

大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓https://www.cnblogs.com/robots2/p/17769376.html大数据架构设计
flying jiang·2023-11-07 12:58

【hcie-cloud】【2】华为云Stack解决方案介绍、缩略语整理 【下】

MRS：一个架构可构建三种数据湖，业务场景更丰富离线数据湖：提供云原生、湖仓一体的企业级数据湖实时数据湖：自研CDL引擎，打通实时数据湖的“最后一公里”逻辑数据湖：通过自研HetuEngine实现数据湖与数仓协同
҉人间无事人·2023-11-07 08:55

flinksql如何关联mysql维表_Flink实战（八十三）：flink-sql使用（十）维表join（五）Flink SQL之维表join之Temporal Table Join...

utm_source=qq维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。
axiao2·2023-11-07 05:39

flink sql 流 join （上）(转)

1.序篇下面即是文章目录，也对应到本文的结论，小伙伴可以先看结论快速了解本文能给你带来什么帮助：背景及应用场景介绍：join作为离线数仓中最常见的场景，在实时数仓中也必然不可能缺少它，flinksql提供的丰富的
newbei5862·2023-11-07 05:06

实时数仓|Flink SQL之维表join

维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。
大数据技术与数仓·2023-11-07 05:05

Spark知识点总结大全

sparksql:使用sql对历史数据做交互式查询，用来操作结构化数据sparkStreaming:近实时计算对实时数据进行流式计算的组件sparkgraph
好好丁先森·2023-11-07 05:11

Apache Doris在美团外卖数仓中的应用实践

本文将介绍Doris在美团外卖数仓的实践。序言本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。
架构师小秘圈·2023-11-07 03:25

UnityGI5：实时 GI 与光探代理体

前置：UnityGI2：Lightmaps一、实时GI字面意思，实时计算间接光照，设置与代码修改如下：1.LightSetting里面开启RealtimeLighting，并将对应的主光源Mode设置为
Jaihk662·2023-11-06 23:06

尚硅谷大数据项目《在线教育之实时数仓》笔记006

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第9章数仓开发之DWD层P041P042P043P044P045P046P047P048P049P050P051P052第
upward337·2023-11-06 22:49

FlinkSQL - 级联窗口计算并Sink2Hbase

一、背景说明背景来源为一个实时指标计算的需求：实时计算过去一小时订单配对数。订单配对的口径是用户下单后司机接单，且后续没有发生订单取消则定义为配对订单（基于打车场景）。
Rango_lhl·2023-11-06 13:50

Hologres 助力飞猪双11实时数据大屏秒级响应

摘要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（下称Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。
阿里云技术·2023-11-06 11:04

大数据平台之数据存储

数据仓库3.2数据湖4.数据存储的方式4.1批处理的数据存储4.2实时处理的数据存储1.大数据生态技术数据存储处理:清洗,关联,规范化,组织建模,通过数据质量的检测,数据分析然后提供相应的数据服务离线数仓
959y·2023-11-05 22:25

flink sql开发平台

flink在实时计算方面越来越受欢迎，为了降低开发难度成本很多公司开始研发flink开发平台，业务开发只需写sql就行。
kevin_wf·2023-11-05 07:42

hdfs小文件使用fsimage分析实例

hdfs小文件使用fsimage分析实例1小文件来源分析1.1数据主要来源：2处理方案2.1实时计算任务2.2hive做优化，小文件做合并:2.2.1已有数据2.2.2新接入数据做数据合并后在load进
Direction_Wind·2023-11-05 00:18

Hive综合实例——陌陌聊天数据分析

基于Hive数仓实现需求开发--本地(指hive服务所在的主机)加载数据loaddatalocalinpath'/root/hivedata/data1.tsv'intotabledb_msg.tb_msg_source
爱吃薄荷糖的喵喵·2023-11-04 21:13

【Hadoop】四、Hadoop生态综合案例 ——陌陌聊天数据分析

文章目录四、Hadoop生态综合案例——陌陌聊天数据分析1、陌陌聊天数据分析案例需求1.1、背景介绍1.2、目标需求1.3、数据内容2、基于Hive数仓实现需求开发2.1、建库建表、加载数据2.2、ETL
陌上人如玉এ·2023-11-04 21:10

大数据之陌陌聊天数据分析案例

目录目标需求数据内容基于Hive数仓实现需求开发1.建库建表、加载数据2.ETL数据清洗3需求指标统计目标需求基于Hadoop和hive实现聊天数据统计分析，构建聊天数据分析报表1.统计今日总消息量2.
liyantower·2023-11-04 21:33

SINAMICS S120变频器电流转矩功率限幅功能

电流限幅中的电流值经过矢量变换后，实时计算出允许的转矩限幅作用于转矩限幅。电流限幅p0640在电机配置时输入，如果没有手动修改的话，电流限幅自动设置为1.5*p0305，即电机额定电流的1.5
!chen·2023-11-04 18:30

网易Impala集群优化和高可用负载均衡配置和虚拟数仓

网易Impala集群优化和高可用负载均衡配置和虚拟数仓①本文阅读了多篇文章整理润色而成，主要旨在解决impala分析型数仓在生产环境遇到的各种技术瓶颈。如何优化等一些列问题着手。
岁月的眸·2023-11-04 14:28

AWS组件使用

kafka或kinesis做数据收集S3+redshift做数仓EMR做计算RDS做数据市场AWSGlue/AWSDataPipeline做数据集成这些组件配合起来，几乎可以做各种方式的数据分析kinesis
Elivis Hu·2023-11-04 12:29

尚硅谷大数据项目《在线教育之实时数仓》笔记005

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第9章数仓开发之DWD层P031P032P033P034P035P036P037P038P039P040第9章数仓开发之DWD
upward337·2023-11-04 10:05

数据仓库之面试

可简单说下理解与思路3.数据仓库、数据中台、数据湖的理解4.传统数仓的程
2a0eebe006e6·2023-11-04 09:56

Hive 自定义函数

我们本篇就使用Hive中的自定义函数实现几种数仓搭建过程中的需求。Hive有哪些自定义函数？Hive中存在三种类型
Data-Developer·2023-11-04 06:52

MapReduce

缺点不擅长实时计算，无法在毫秒活着妙级返回结果；不擅长流式计算，MapR
Manfestain·2023-11-04 03:07

Java数据结构Day3--用数组实现环形队列(实现复用性)

更新的晚了,这两天实时数仓已经开始着手了,代码量就不用提了,忙里偷闲.但是确实一点闲也没有,但是就凭着年轻,要挑战不可能.环形队列看了Day2的同学们肯定已经发现了,这个数组来实现的队列好像没有复用性,
徐一闪_BigData·2023-11-03 23:48

FlinkSQL窗口，让你眼前一亮，是否可以大吃一惊呢

本篇主要内容：Watermark滚动窗口滑动窗口累积窗口函数窗口分组聚合GROUPINGSETSClue幂集函数Over函数Watermark引入由于实时计算的输入数据是持续不断的，因此我们需要一个有效的进度指标
大数据左右手·2023-11-03 17:31

WMS系统之未来发展篇

目前，大多数仓储企业都已经采用了WMS系统，实现了仓库的自动化和信息化管理。然而，现有的WMS系统还存在一些问题，比如难以集成不同的硬件设备和软件系统，难以应对复
大连豪森智源·2023-11-03 09:15

数仓建模—数仓建设概论

数仓建设概论文章目录数仓建设概论什么是数据仓库数据仓库对企业的意义1.全面掌握企业数据2.支持企业的决策制定3.可靠性高怎么做数据仓库建1.需求分析2.设计数据仓库架构3.数据采集4.数据清洗5.数据结构设计
不二人生·2023-11-02 21:59

实时数仓-hologres使用总结

我们回顾下，Hologres是一款实时HSAP产品，隶属阿里自研大数据品牌MaxCompute，兼容PostgreSQL生态、支持MaxCompute数据直接查询，支持实时写入实时查询，实时离线联邦分析，低成本、高时效、快速构筑企业实时数据仓库（Real-TimeDataWarehouse）。具备如下优势：说明分析服务一体化PointQuery(毫秒级，用于api服务，类hbase,redis场景
高阳很捷迅·2023-11-02 18:57

性能卓越 全栈自主 HashData与华为金融数仓一体机联合方案全面解读

经过长期的服务与实践，HashData已形成面向金融核心业务的成熟数仓产品。
HashData酷克数据·2023-11-02 16:36

酷克数据出席永洪科技用户大会 携手驱动商业智能升级

酷克数据作为国内云原生数仓代表企业，受邀出席本次大会，全面展示了云数仓领域最新前沿技术，并进行主题演讲。携手合作助力企业释放数据价值数据仓库是商业智能（BI）的核心组件，为BI提供高质量的数据支持。
HashData酷克数据·2023-11-02 16:33

硬件成本节省60%，四川华迪基于OceanBase的健康大数据数仓建设实践

导语：本文为四川华迪数据计算平台使用OceanBase替代Hadoop的实践，验证了OceanBase在性能和存储成本方面的优势：节省了60%的硬件成本，并将运维工作大幅减少，从Hadoop海量组件中释放出来；一套系统处理HTAP场景需求，简化了运维复杂度。作者简介：向平，现任四川华迪信息技术有限公司智慧医养研发部技术总监，主要负责智慧医养板块大数据和人工智能相关架构设计和团队管理工作。随着老龄化
OceanBase数据库官方博客·2023-11-02 08:22

同城代驾开源版小程序开发

实时路径计算：通过集成腾讯地图的软件开发工具包(SDK)，系统能够实时计算路线规划、订单里程并预计费用，为司机提供准确的订单信息。
闹小艾·2023-11-02 01:39

B站数据质量保障体系建设与实践

文章将关注数仓和建模的相关方法论，讲解B站数仓平台团队在数仓建设和建模过程中所做的工作，并分享质量保障方面取得的成果。一、背景目标首先，分享一下B站数据质量保障的背景和目标。
疯狂创作者·2023-11-01 16:09

十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖、数仓一体化？

高可用解决方案，十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖、数仓一体化
代码讲故事·2023-11-01 13:11

目标跟踪(6)OpenCV 人员计数器

使用OpenCV，我们将实时计算进或出百货商店的人数。在今天博客文章的第一部分，我们将讨论如何利用两者来创建更准确的人员计数器。之后，
HDX柿子·2023-11-01 07:48
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他