大数据面试

大数据面试刷题

de的题目解析和讨论区也非常活跃，可以帮助求职者更好地理解题目和解题思路。牛客网（牛客网-找工作神器|笔试题库|面试经验|实习招聘内推，求职就业一站解决_牛客网）：牛客网是国内内容超级丰富的IT题库，不仅提供了大量的面试题，还涵盖了笔试题库、面试经验分享、实习招聘内推等多个方面。对于大数据方向的求职者来说，牛客网是一个一站式的学习平台，可以帮助他们系统地提升面试竞争力。超级码客（www.chaoj
陈吉俊·2024-09-09 03:43

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

1、为什么要使用Hive？Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS、Amazon的S3和像HBase（Hadoop数据仓库）和Cassandra这样的数据库中的数据。大多数数据仓库应用程序都是使用关系数据库进行实现的，并使用SQL作为
蓦然_·2024-09-08 15:50

大数据面试-Scala

谈谈scala的闭包、柯里化、高阶函数如果一个函数，访问到了它的外部（局部）变量的值，那么这个函数和他所处的环境，称为闭包。闭包在函数式编程中是一个重要的概念，广泛用于高阶函数、柯里化等技术中。函数柯里化：把一个参数列表的多个参数，变成多个参数列表；函数柯里化，其实就是将复杂的参数逻辑变得简单化,函数柯里化一定存在闭包。高阶函数：1）函数可以作为值进行传递2）函数可以作为参数进行传递3）函数可以作
文文鑫·2024-08-25 12:35

大数据面试-Zookeeper

你对Zookeeper的选举机制了解吗？为什么zk节点个数推荐奇数台？zk第一次启动的选举的细节了解吗？‌ZooKeeper的选举机制‌是基于Paxos算法的一种分布式选举算法，用于在ZooKeeper集群中选择一个节点作为Leader，负责处理客户端的写请求和协调其他节点。选举过程涉及多个方面，包括选举算法的实现细节、奇数节点的重要性，以及初始化时的选举过程。‌选举算法的实现细节‌：在ZooKe
文文鑫·2024-08-25 12:04

【大数据面试题】014 Flink CDC 用过吗，请简要描述

一步一个脚印，一天一道面试题。FlinkCDC的诞生背景FlinkCDC的全称是ChangeDataCapture（变更数据捕获）每一项技术的诞生都是为了解决某个问题，某个痛点。而FlinkCDC的诞生就是为了解决在读取，监控MySQL这样的数据库时，不会因为读取数据库，对数据库本身造成压力，影响性能。同时，保证了数据源的准确，正确。FlinkCDC原理方式一：通过查询来获取更新的数据。如查询数据
Jiweilai1·2024-03-20 04:43

【大数据面试题】009 Flink 有哪些机制实现故障恢复

一步一个脚印，一天一道面试题（重点）容错检查点（Checkpoint）：Flink使用容错检查点来定期记录应用程序的状态。检查点包含了所有正在进行中的任务的状态信息。当发生故障时，Flink可以使用最近的检查点来恢复应用程序的状态。#从检查点恢复$bin/flinkrun-s:savepointPath容错恢复策略：Flink提供了多种容错恢复策略，可以根据具体的需求进行配置。例如，可以设置重启策
Jiweilai1·2024-02-19 13:05

【大数据面试题】007 谈一谈 Flink 背压

一步一个脚印，一天一道面试题（有些难点的面试题不一定每天都能发，但每天都会写）什么是背压Backpressure在流式处理框架中，如果下游的处理速度，比上游的输入数据小，就会导致程序处理慢，不稳定，甚至出现崩溃等问题。出现背压的原因上游数据突然增大比如数据源突然数据量增大多倍，下游处理速度跟不上。就像平时的小饭店能处理的很轻松，突然到了过年人多了很多，就会需要客人排队。网络，机器异常等这个也好理解
Jiweilai1·2024-02-19 13:35

【大数据面试题】006介绍一下Parquet存储格式的优势

一步一个脚印，一天一道面试题列式存储同一列的数据是同一种数据类型，所以压缩比例可以更高。同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python等都支持，所以Parquet文件可以在不同系统和语言通用。这是我觉得比较实在的优势
Jiweilai1·2024-02-19 13:34

【大数据面试题】008 谈一谈 Flink Slot 与 并行度

【大数据面试题】008谈一谈FlinkSlot与并行度配置并行度Parallelism概念作用Slot概念作用如何设置TaskManager任务管理器Flinksubmit脚本一步一个脚印，一天一道面试题该文章有较多引用文章
Jiweilai1·2024-02-19 13:01

【大数据面试题】Flink第一弹60连发

感谢胖子大佬提供的企业面试题。本文因为时间关系只有部分答案，后续的答案小编会持续补全，请持续关注本系列。年后升职加薪就靠它了。胖子大佬就在交流群里，需要加群的公众号回复【加群】。更多面试题可以参考：《Flink面试通关手册》1、Flink如何保证精确一次性消费Flink保证精确一次性消费主要依赖于两种Flink机制1、Checkpoint机制2、二阶段提交机制Checkpoint机制主要是当Fli
王知无(import_bigdata)·2024-02-08 14:26

大数据面试题之 Flink

Flink基础架构组成？Flink程序在运行时主要有TaskManager，JobManager，Client三种角色。JobManager是集群的老大，负责接收FlinkJob，协调检查点，Failover故障恢复等，同时管理TaskManager。包含：Dispatcher、ResourceManager、JobMaster。TaskManager是执行计算的节点，每个TaskManager负
尚硅谷铁粉·2024-02-08 14:26

【大数据面试】Flink 04：状态编程与容错机制、Table API、SQL、Flink CEP

六、状态编程与容错机制1、状态介绍(1)分类流式计算分为无状态和有状态无状态流针对每个独立事件输出结果，有状态流需要维护一个状态，并基于多个事件输出结果(当前事件+当前状态值)(2)有状态计算举例窗口复杂事件处理：一分钟出现两次流与other的关联操作2、有状态的算子数据源source，数据存储sink都是有状态的状态与算子相关联，有两种类型的状态：算子状态和键控状态(1)算子状态(operato
哥们要飞·2024-02-08 14:25

【大数据面试题】004 Flink状态后端是什么

一步一个脚印，一天一道大数据面试题。在实时处理中，状态管理是十分常用的。比如监控某些数据是否一直快速增长。那就需要记录到之前的状态，数值。那作为最热门的实时处理框架，Flink对状态管理是有一套的。
Jiweilai1·2024-02-08 14:25

【大数据面试题】005 谈一谈 Flink Watermark 水印

一步一个脚印，一天一道面试题。感觉我现在很难把水印描述的很好，但，完成比完美更重要。后续我再补充。各位如果有什么建议或补充也欢迎留言。在实时处理任务时，由于网络延迟，人工异常，各种问题，数据往往会出现乱序，不按照我们的预期到达处理框架。WaterMark水印，就是为了一定程度的解决数据，延迟乱序问题的。使用WaterMark一般有以下几个步骤：定义时间特性（Flink1.12已废弃，默认使用事件时
Jiweilai1·2024-02-08 07:54

【大数据面试题】002 Flink 如何实现 Exactly-Once 语义

一步一个脚印，一天一道大数据面试题。在流式大数据处理框架中，Exactly-Once语义对于确保每条数据精确地只被消费一次（避免重复读取和丢失读取）非常重要。
Jiweilai1·2024-02-05 13:54

【大数据面试题】001 Flink 的 Checkpoint 原理

一步一个脚印，一天一道大数据面试题。Flink是大数据实时处理计算框架。实时框架对检查点，错误恢复的功能要比离线的更复杂，所以一起来了解Flink的Checkpoint机制吧。
Jiweilai1·2024-02-04 07:13

大数据面试题 ---阿善有用

大数据工程师面试题1.选择题1.1.下面哪个程序负责HDFS数据存储。a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktracker答案Cdatanode1.2.HDfS中的block默认保存几份？答案A默认3份1.3.下列哪个程序通常与NameNode在一个节点启动?a)SecondaryNameNodeb)DataNodec)T
okbin1991·2024-02-03 15:21

史上最全HBase面试题，高薪必备，架构必备

说在前面本文《尼恩大数据面试宝典》是《尼恩Java面试宝典》姊妹篇。
40岁资深老架构师尼恩·2024-01-31 09:09

史上最全Flink面试题，高薪必备，大数据面试宝典

说在前面本文《尼恩大数据面试宝典》是《尼恩Java面试宝典》姊妹篇。
40岁资深老架构师尼恩·2024-01-31 09:08

java进阶

1.大数据史上最全Flink面试题，高薪必备，大数据面试宝典史上最全Hadoop面试题：尼恩大数据面试宝典专题1史上最全HBase面试题，高薪必备，架构必备史上最全Hive面试题，高薪必备，架构必备绝密
don't_know·2024-01-31 09:44

hive面试题总结（大数据面试）

Hive概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。Hive提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。1、Hive自定义函数函数UDF一进一出处理原文件内容某些字段包含[]“”UDAF
404个问号·2024-01-28 07:02

【大数据面试题】HBase面试题附答案

目录1.介绍下HBase2.HBase优缺点3.介绍下的HBase的架构4.HBase的读写缓存5.在删除HBase中的一个数据的时候，它是立马就把数据删除掉了吗?6.HBase中的二级索引7.HBase的RegionServer宕机以后怎么恢复的?8.HBase的一个region由哪些东西组成?9.HBase高可用怎么实现的?10.为什么HBase适合写多读少业务?11.列式数据库的适用场景和优
话数Science·2024-01-26 19:42

大厂大数据面试题收录（1）

目录1.java中object类有哪些方法?2.说一下==和equals的区别？3.为什么要重写equals和hashcode()方法？4.机器学习中，监督学习和无监督学习的区别是啥？？5.kafka组件熟悉吗,kafka如何实现消息的有序的？6.在大数据组件中，你们一般用的资源管理框架是哪个？7.那你能谈一下yarn的基础架构及调度流程吗？8.Hivesql到MapReduce转化的流程清楚吗？
后季暖·2024-01-23 11:49

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位
Francek Chen·2024-01-20 11:22

【大数据面试】Flink面试题附答案

目录1、背压问题2、Flink是如何支持批流一体的3、Flink任务延迟高，想解决这个问题，你会如何入手4、Flink的监控页面，有了解吗，主要关注那些指标？5、你们之前Flink集群规模有多大？部署方式是什么？你了解哪些部署方式？6、Flink如何做压测和监控7、Flinkcheckpoint的相关查考？如何做checkpoint，如何监控，存储在哪里？等8、FlinkSavepoint的相关查
话数Science·2024-01-12 11:51

【大数据面试】常见数仓建模面试题附答案

常见面试题数据仓库面试题-理论相关什么是数据仓库？如何构建数据仓库？概念模型、逻辑模型、物理模型分别介绍一下？SCD常用的处理方式有哪些？模型设计的思路？业务驱动？数据驱动？数仓架构为什么要分层？事实表的类型？维度建模步骤？维度建模的三种模式？数仓架构进化？数据仓库如何保证数据质量？开发流程/你们是怎么测试的？维度建模过程？维度建模的三种模式？事实表都有哪几种？如何做数据治理？元数据的理解？如何分
话数Science·2024-01-12 07:28

【大数据面试知识点】分区器Partitioner：HashPartitioner、RangePartitioner

SparkHashParitioner的弊端是什么？HashPartitioner分区的原理很简单，对于给定的key，计算其hashCode，并除于分区的个数取余，如果余数小于0，则用余数+分区的个数，最后返回的值就是这个key所属的分区ID；弊端是数据不均匀，容易导致数据倾斜，极端情况下某几个分区会拥有rdd的所有数据。RangePartitioner分区的原理及特点？原理：RangeParti
话数Science·2024-01-03 18:02

某大厂外包-大数据面试-人事提问

正在睡觉的时候，突然一个电话过来，然后接听开始1.用过那些组件？2.数据流程是怎么样的？3.用过那些linux命令4.提到数据整个过程，遇到问题如何解决的？5.问到个人信息6.沟通能力如何，需要涉及客户之间的沟通？7.平常项目中遇到故障如何解决的？
劝学-大数据·2024-01-03 17:53

大数据面试总结

1、冒泡排序、选择排序冒泡排序：主要的思路就是从一个元素开始，与相邻的元素进行比较，如果比他大，就交换元素，使较大的元素元素排在后面，直到最后一个元素。publicclassBubbleSort{publicstaticvoidbubbleSort(int[]arr){intn=arr.length;for(inti=0;iarr[j+1]){inttemp=arr[j];arr[j]=arr[j
新手小农·2024-01-03 03:48

大数据面试总结 二

1、事实表主要分成几种：1、事务事实表：又称作原子事实表，主要是用来描述业务过程，跟踪控件或者时间上某点的度量事件，保存的是最原子的数据2、周期事实表：以一个周期作为一个时间间隔，用来记录事实，一个周期可以是每天、每周、每月、每年等。3、累计快照事实表：用来描述过程开始和过程结束之间的关键步骤事件，覆盖过程的整个生命周期，通常具有多个日期字段来记录关键时间点，当过程随着生命周期不断的变化时，记录也
新手小农·2024-01-03 03:18

【大数据面试知识点】Spark的DAGScheduler

Spark数据本地化是在哪个阶段计算首选位置的？先看一下DAGScheduler的注释，可以看到DAGScheduler除了Stage和Task的划分外，还做了缓存的跟踪和首选运行位置的计算。DAGScheduler注释：Thehigh-levelschedulinglayerthatimplementsstage-orientedscheduling.ItcomputesaDAGofstages
话数Science·2024-01-02 07:44

【大数据面试知识点】Spark中的累加器

Spark累加器累加器用来把Executor端变量信息聚合到Driver端，在driver程序中定义的变量，在Executor端的每个task都会得到这个变量的一份新的副本，每个task更新这些副本的值后，传回driver端进行merge。累加器一般是放在行动算子中进行操作的。Spark累加器有哪些特点？1）累加器在全局唯一的，只增不减，记录全局集群的唯一状态2）在Executor中修改它，在Dr
话数Science·2024-01-02 07:44

大数据面试题-1

一、map-reduce原理map过程：1.1读取HDFS中的文件。每一行解析成一个。每一个键值对调用一次map函数。1.2覆盖map()，接收1.1产生的，进行处理，转换为新的输出。1.3对1.2输出的进行分区。默认分为一个区。1.4对不同分区中的数据进行排序（按照k）、分组。分组指的是相同key的value放到一个集合中。排序后：分组后：1.5（可选）对分组后的数据进行归约。Reduce任务处
edwin1993·2023-12-27 19:29

【美团大数据面试】Java面试题附答案

目录1.多线程代码示例2.单例代码示例3.LinkedBlockingQueue原理解析4.模板设计模式讲解5.生产者-消费者队列设计方法6.堆内存和栈内存的区别7.ThreadLocal底层机制8.synchronized原理，存在的问题，解决方案9.volatile使用场景和原理，与synchronized的差异10.Java内存模型解析11.hashtable、hashmap性能提升方法12
话数Science·2023-12-25 11:23

【美团大数据面试】大数据面试题附答案

目录1.hdfs读写流程解析2.hdfs副本机制，三副本原因，副本存放策略3.hdfs容错机制原理4.MapReduce执行流程详解5.spark和mr的区别6.TopN求法，大数据量无法完全写入内存解决方案，MapReduce实现方法7.spark部署、调度原理8.spark的stage划分方法9.reducejoin执行过程10.大数据量join优化方法11.hive优化手段12.hiveSQ
话数Science·2023-12-25 11:19

【大数据面试】Kafka面试题与答案

介绍下Kafka，Kafka的作用?Kafka的组件?适用场景?Kafka作为消息队列，它可解决什么样的问题?说下Kafka架构说下Kafka的特点，优缺点Kafka相比于其它消息组件有什么好处?Kafka生产者与消费者Kafka分区容错性Kafka的消费端的数据一致性Kafka的leader挂掉之后处理方法说下Kafka的ISR机制Kafka的选举机制Kafka的ISR、OSR和ACK介绍，AC
话数Science·2023-12-21 11:34

【大数据面试】MySQL面试题与答案

数据库中的事务是什么，MySQL中是怎么实现的MySQL事务的特性?数据库事务的隔离级别?解决了什么问题?默认事务隔离级别?脏读，幻读，不可重复读的定义MySQL怎么实现可重复读?数据库第三范式和第四范式区别?MySQL的存储引擎?数据库有哪些锁?说下悲观锁、乐观锁分布式数据库是什么?死锁产生的条件是什么?如何预防死锁?介绍下数据库的ioin(内连接，外连接，全连接)，内连接和外连接(左，右连接)
话数Science·2023-12-21 11:33

【大数据面试】Flink面试题附答案

目录Flink架构Flink的窗口了解哪些，都有什么区别，有哪几种?如何定义?Flink窗口函数，时间语义相关的问题介绍下Flink的watermark(水位线)，watermark需要实现哪个实现类，在何处定义?有什么作用?Flink的窗口(实现)机制说下Flink的CEP说一说Flink的Checkpoint机制Flink的Checkpoint底层如何实现的?savepoint和checkpo
话数Science·2023-12-20 05:12

【大数据面试】YARN常见问题与答案

目录介绍下YARNYARN有几个模块YARN工作机制YARN有什么优势，能解决什么问题?YARN容错机制YARN高可用YARN调度器YARN中Container是如何启动的?YARN的改进之处，Hadoop3.x相对于Hadoop2.x?YARN监控介绍下YARNYARN有几个模块Yarn架构ResourceManager（RM）：■1、处理客户端的请求■2、监控NodeManager■3、启动或
话数Science·2023-12-19 05:32

【大数据面试】MapReduce常见问题与答案

目录介绍下MapReduceMapReduce优缺点MapReduce架构MapReduce工作原理MapReduce哪个阶段最费时间✅MapReduce中的Combine是干嘛的?有什么好出?✅MapReduce环形缓冲区是什么✅MapReduce为什么一定要有环型缓冲区MapReduce为什么一定要有Shuffle过程MapReduce的Shuffle过程及其优化Reduce怎么知道去哪里拉M
话数Science·2023-12-19 05:25

AliExpress基于Flink的广告实时数仓建设

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜大数据面试提升私教训练营上线Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。
王知无(import_bigdata)·2023-12-02 19:01

2018年面试大数据面试数据结构总结

目录数据结构的定义数据结构的分类逻辑结构分类物理结构分类相关概念时间复杂度hashhash冲突Java中的数组结构线性表ArrayListLinkedList链表Java中的实现Vector栈和队列栈在Java中的应用JDK1.7中HashMap的实现哈希表HashtableHashMap树平衡二叉树的创建及遍历红黑树JDK1.8中的HashMap在面试大数据工作的过程中。中大型公司，都会对数据结
kk_io·2023-11-30 13:38

Apache Iceberg核心原理分析文件存储及数据写入流程

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜全网最全大数据面试提升手册！
王知无(import_bigdata)·2023-11-27 19:25

大数据面试大厂真题【附答案详细解析】

1.Java基础篇（阿里、蚂蚁、字节、携程、快手、杭州银行等）问题：HashMap的底层实现原理答案：在jdk1.8之前，hashmap由数组-链表数据结构组成，在jdk1.8之后hashmap由数组-链表-红黑树数据结构组成；当我们创建hashmap对象的时候，jdk1.8以前会创建一个长度为16的Entry数组，jdk1.8以后就不是初始化对象的时候创建数组了，而是在第一次put元素的时候，创
三石大数据·2023-11-26 13:35

大数据面试经验分享：探索大规模数据处理的技巧与实践

在现代科技的浪潮下，大数据处理成为了许多企业和组织的重要任务。随着数据量的不断增长和复杂性的提高，对大数据处理的需求也越来越迫切。在面对大数据处理的挑战时，掌握一些关键技巧和实践经验是非常重要的。本文将分享一些在大数据处理中实用的技巧，并提供相应的源代码示例。分布式计算框架的选择在处理大规模数据时，选择适合的分布式计算框架是至关重要的。常见的大数据处理框架包括ApacheHadoop和Apache
星光璀璨下的梦幻舞台·2023-11-24 06:38

大数据面试必问点与模拟笔试题

一、面试技巧1、面试的本质面试就是一场秀。2、面试过程最关键的是什么1）不是你说了什么，而是你怎么说2）大大方方的聊，放松3、面试时该怎么说1）语言表达清楚（1）思维逻辑清晰，表达流畅（2）一二三层次表达2）所述内容不犯错（1）不说前东家或者自己的坏话（2）往自己擅长的方面说（3）实质，对考官来说，内容听过，就是自我肯定；没听过，那就是个
wespten·2023-11-22 09:19

大数据面试指导

#面试指导面试的基础指导如何boss直聘上筛选简历如果看到“硕士”、“985、211院校”,这些大概率是硬性条件。如果条件不符，可以不投。面试心态开始的2-3次，预期不会通过第3-5次，有面试的感觉，熟悉了企业的常规的面试流程和面试官的风格第4次后，学会了应变，有信心去面对各种应聘的困难最后一定能找到工作。只是时间早晚问题。年龄小是优势，不要过于担心，互联网行业拥抱年轻人我们的知识面足够广，主流的
大数据刚入门的小菜鸟·2023-11-19 14:53

Flink必知必会系列之回撤流(RetractStream)源码解读

全网最全大数据面试提升手册！2023年持续更新！1.定义Flink中，KafkaSource是非回撤流，GroupBy是回撤流。
王知无(import_bigdata)·2023-11-14 05:39

大数据面试题_实时计算部分

1.zookeeper在kafka中起到什么作用Controller选举Controller是一个特殊的Broker,其负责维护所有Partition的leader/follower关系。当有partition的leader挂掉之后，controller会重新从同步队列中选出一个leader。==Zookeeper负责从Broker中选举出一个作为Controller,并确保其唯一性。同时,当Co
执于代码·2023-11-01 02:01

大数据面试题2

1自我介绍2项目介绍3数据量+集群配置4遇到过哪些问题，反正数据倾斜5chlikhouse的计算引擎6接触过运维吗7flink版本8flink内存，托管内存干什么用的？9spark处理了哪些业务10flink类加载，两个类型了解吗11java垃圾回收机制12你感觉你的优势是什么13你工作的三年最有成就感的事应聘者二2022-11-26（1）介绍下你们项目的人员组成（2）你们集群规模（3）你们集群做
添柴少年yyds·2023-10-28 08:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他