大数据面试题

大数据面试题

hadoop面试100道收集（带答案）标签：hadoop面试2016-04-2700:283993人阅读评论(0)收藏举报本文章已收录于：.embody{padding:10px10px10px;margin:0-20px;border-bottom:solid1px#ededed;}.embody_b{margin:0;padding:10px0;}.embody.embody_t,.embod
unity_kw_do·2022-12-04 00:48

2021-03大数据面试题

Java:1.类加载器机制，都有哪些类加载器2.解释SPI3.GC算法、cms和g1收集流程、GCRoots4.synchronized和reenrantLock的区别5.synchronized的锁升级过程，什么情况下会由cas升级到重量级锁6.什么情况下会oom和stackOverFlow7.什么情况下会FullGC8.什么情况下对象会进入老年代9.ConcurrentHashMap原理10.
xianbin.yang·2022-11-29 16:37

大数据面试题（五）：Hadoop优化核心高频面试题

文章目录Hadoop优化核心高频面试题一、Mapreduce跑的慢的原因？1、计算机性能2、I/O操作优化二、Mapreduce优化方法1、数据输入2、map阶段3、reduce阶段4、IO传输5、数据倾斜问题6、常用的调优参数三、HDFS小文件优化方法1、HDFS小文件弊端2、解决方案3、CombineFileInputFormat4、开启JVM重用四、MapReduce怎么解决数据均衡问题，如
Lansonli·2022-11-29 16:30

【先收藏，早晚用得到】49个Flink高频面试题系列（一）

【先收藏，早晚用得到】49个Flink高频面试题系列（一）持续分享有用、有价值、精选的优质大数据面试题致力于打造全网最全的大数据面试专题题库一.你在开发Flink任务时，有没有遇到过背压问题，你是如何排查的
大数据研习社·2022-11-29 15:13

大数据面试题_数据仓库篇

文章目录大数据面试题_数据仓库篇离线数据仓库1、为什么要对数据仓库分层？2、数据建模用的哪些模型？3、你感觉数仓建设中最重要的是什么大数据面试题_数据仓库篇离线数据仓库1、为什么要对数据仓库分层？
Jerry Hong·2022-11-24 23:19

如何排查Flink生成环境中的反压问题

《2021年最新版大数据面试题全面开启更新》反压问题是流式计算系统中经常碰到的一个问题，如果你的任务出现反压节点，那么就意味着任务数据的消费速度小于数据的生成速度，需要对生成速度进行控制。
王知无(import_bigdata)·2022-11-12 05:27

大数据面试题总结

大数据为什么这么快1、扩展性传统的是纵向扩展（服务器数量不变，每个的配置越来越高）大数据是横向扩展（每个的配置不变，但服务器数量越来越多）2、分布式传统的是集中式存储，集中式计算大数据是分布式存储，分布式计算3、可用性传统的是单份数据（存储数据的磁盘少）大数据是多份数据（存储数据的磁盘多）4、模型传统的是移动数据到程序端大数据是移动程序到数据端（减少了大量的IO开销和网络开销，利用并行计算，并行存
ischangle·2022-10-12 10:04

全网最全的的java大数据面试题

前言学习群的几个小伙伴和我都有面试ebay大数据岗位的经历，而且也都拿了offer，我特意抽出了一些时间把问题和部分答案就行了汇总，希望对大家有帮助。全文篇幅1万字左右，从数据结构到Java再到大数据都有整理，可以先收藏起来，补缺补漏。ebay大数据组也持续招人。一、java基础1、Queue和Stack你平时有用过么，说说你常用的方法，他们的却别在哪呢？2、了解java的异常吗，有什么区别，常见
搬砖养女人·2022-10-12 10:10

大数据面试题（校招）

项目1.介绍电商数仓项目2.在项目中用的什么数据栈？3.数据仓库建模几种方式一般有关系建模和维度建模，关系建模遵循范式，一般有一范式、二范式、三范式、bc范式等。维度建模一般有星型模型、雪花模型、星座模型。星型模型允许数据冗余但是减少shuffle、雪花模型一般遵循范式，数据冗余少但增多工作量。星座模型与前两种不冲突，由多张事实表汇总。4.讲一下维度建模，维度表维度建模有两种表：维度表、事实表。事
梧桐林.·2022-10-12 10:38

大数据面试题（每天更新，直到我找到工作）

Hadoop1.MR工作原理分为三个阶段，map,shuffle,reduce.MR将得到的切片split分配给maptask,每个任务处理相对于的split,将split以line的方式读取每一行数据，进行mapTask运算。加载到环形缓冲区（默认为100M），双向读写（一边存元数据和索引，一边存数据），达到80M进行溢写操作期间会进行kv分区（分区数由reduce数来决定）默认使用hashpa
编程爱上我吧·2022-10-12 10:23

常见大数据面试题汇总带答案

大数据面试题汇总**牛客网刷sql题**redisflumeflink(大部分知识点写过的帖子里都有)mr，java,集群算法题kafka维度建模分为哪几种?
Direction_Wind·2022-10-12 10:55

大数据面试题汇总【持续更新】

前言本文内容是根据自身对相应知识的浅薄理解，如有错误欢迎指正~大数据生态圈Hadoop架构HDFS（分布式文件系统）:解决海量数据的存储问题NameNode：集群当中的主节点，管理元数据，主要用于管理集群当中的各种数据SecondaryNameNode：辅助Hadoop对中元数据信息的管理DataNode：集群当中的从节点，主要用于存储集群当中的各种数据MapReduce（分布式运算编程框架）：解
Kazi_1024·2022-10-12 10:45

「面试必背」大数据面试题100道（收藏）

前言随着5G时代的到来，大数据人工智能产业链又一次迎来了井喷式的爆发，随着岗位需求的不断增加，越来越多的人选择大数据课程，但是没有真正从事大数据工作的人面对企业面试有种无从下手的感觉，面对面试说不到技术的重点，每次面试只能靠队友，靠兄弟支援，尤其是面对架构，编程更是无从下手。于是我决定对市场上大多的有关大数据核心的面试题做一个详细的分析，也希望大家尽可能的做到举一反三，而不是局限于题目本身。1、选
java晴天过后·2022-09-08 04:56

吐血整理50家企业真实大数据面试题！！学长实测，真实面试！！快收藏！

文章目录前言京东面试题58面试题新浪面试题搜狐面试题360面试题小米面试题顺丰面试题OPPO面试题VIVO面试题华为面试题boss直聘面试题搜狗金融面试题瓜子二手车面试题猎豹移动面试题作业盒子面试题每日优鲜美团面试要求快手面试题新美互通面试题金山云面试题图新瀚合面试题中创软件面试题清华同方面试题柠檬微趣面试题量化派面试题天阳科技面试题泰康保险面试题软通动力面试题乐元素面试题北京国信博飞面试题知因智
一只楠喃·2022-08-24 12:00

【300+精选大厂面试题持续分享】大数据运维尖刀面试题专栏（六）

持续分享有用、有价值、精选的优质大数据面试题致力于打造全网最全的大数据面试专题题库51、如何迁移大数据平台中的Zookeeper集群？
大数据研习社·2022-08-21 15:31

【300+精选大厂面试题持续分享】大数据运维尖刀面试题专栏（四）

持续分享有用、有价值、精选的优质大数据面试题致力于打造全网最全的大数据面试专题题库31、如果发现现有集群出现数据倾斜，生产环境中HBase出现数据倾斜了该如何解决呢？
大数据研习社·2022-08-21 15:31

Spark学习之路 （八）SparkCore的调优之开发调优

《2021年最新版大数据面试题全面开启更新》欢迎关注github《大数据成神之路》前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
王知无(import_bigdata)·2022-08-21 09:43

大数据面试题2

大数据项目之企业级数据仓库实战第一章数据仓库概述1.1数据仓库简介1.1.1什么是数据库？数据库(Database)是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库是长期储存在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。常用的数据库有
DHRJFH·2022-08-21 08:13

（转）大数据面试题130道及答案整理 1-15

大数据面试题130道及答案整理1-15转载自：https://www.cnblogs.com/yuluoxingkong/p/13475235.html1、HashMap和Hashtable区别HashMap
你的动作太慢了！·2022-07-31 10:10

原创｜5万字详谈大数据面试题，面试必备

1一面维度建模如何建确认主题确认粒度确认度量确认事实表确认维度表Hiveshuffle和sparkshuffle的区别Spark为什么快Spark任务是怎么执行的转化率如何计算缓慢变化维怎么处理Flink状态Flink窗口Flink广播流题目两个升序链表合并后仍然升序给你两个单词word1和word2，请你计算出将word1转换成word2所使用的最少操作数。你可以对一个单词进行如下三种操作：插入
小晨说数据·2022-07-28 07:18

❤️爆肝三万字，40道Kafka大厂高频面试题，涨薪全靠它！

博主闭关两个多月，查阅了数百万字的大数据资料，结合自身的学习和工作经历，总结了大厂高频面试题，里面涵盖几乎所有我见到的大数据面试题目。《大厂高频面试题系列》目前已总结4篇文章，且在持续更新中✍。
雷恩Layne·2022-07-13 08:16

大数据面试题：Zookeeper有什么作用？优缺点？有什么应用场景？

作用Zookeeper作用包括存储数据（文件系统）和监听（监听通知机制）优点1）分布式协调过程简单2）同步：zk高度同步，这意味着服务器进程之间既存在互斥又存在合作，同步有助于ApacheHBase进行配置管理。3）有序消息：zk跟踪一个数字，表示每个更新的顺序，保证消息有序4）序列化：根据具体规则，zk对数据进行编码。另外，它还可确保我们的应用程序始终如一地运行。但是，在MapReduce中，我
蓦然_·2022-07-05 10:06

大数据面试题：介绍下Zookeeper是什么？

Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Zookeeper就负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。Zookeeper提供的服务包括：统一命名服务、统一配置管
蓦然_·2022-07-05 10:06

大数据面试题：介绍下Flume

1、什么是FlumeFlume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng，同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apachetop项目之一。Flum
蓦然_·2022-07-02 09:50

阿里大数据面试题集合：Hadoop+HBase+Spark+Zookeeper

附面试思维导图：Hadoop面试题讲述HDFS上传文件和读文件的流程？HDFS在上传文件的时候，如果其中一个块突然损坏了怎么办？NameNode的作用？4.NameNode在启动的时候会做哪些操作？NameNode的HA？Hadoop的作业提交流程？Hadoop怎么分片？如何减少HadoopMap端到Reduce端的数据传输量？Hadoop的Shuffle？哪些场景才能使用Combiner呢？HM
m0_55849656·2022-06-16 12:19

大数据面试题总结

一美团自我介绍一下？介绍一下最近的项目？目前在研究什么技术？如何判定一个表是事实表还是维度表？维度表示你要对数据进行分析时所用的一个量,比如你要分析产品销售情况,你可以选择按类别来进行分析,或按区域来分析.这样的按…分析就构成一个维度。前面的示例就可以有两个维度：类型和区域。另外每个维度还可以有子维度（称为属性），例如类别可以有子类型，产品名等属性。下面是两个常见的维度表结构：产品维度表：Prod
鸭梨山大哎·2022-06-08 07:23

大数据面试题

一.SQL1、查询出每门课程的及格人数和不及格人数2、使用分段[100-80],[80-60][‹60]来统计各科成绩，分别统计：各分数段人数，课程号和课程名称3、下面是学生的成绩表（表名score，列名：学号、课程号、成绩）5.查询没有学全所有课的学生的学号、姓名6.查询两门以上不及格课程的同学的学号及其平均成绩二、Hadoop1、hadoop数据倾斜如何处理2、Hadoop性能调优3、hado
黑冰vip·2022-04-22 08:46

大数据面试题--最真实面试总结！！BAT等一线大厂，学长们实测！！

今年我们大三的学长学姐要找实习了，大概整理了一下他们的面试题，问出来的！！！！抓紧收藏！！准备要校招的学长学姐！一定要码好！！这一篇是一部分普通企业和BAT大厂的面试，后续还有京东、58、搜狐、小米等等公司的，等我整理好！！后续我会把这些面试进行综合的总结并附答案，等我啊！这些是普通的公司学长11）技术框架部分：（1）面试官会根据面试者简历上的技能点进行考察。（注意技能点描述用词，不要随便用熟悉，
一只楠喃·2022-02-28 11:14

15道经典大数据面试题

自我介绍+项目介绍数仓为什么要分层？数据仓库都分哪几层？简单介绍一下Mapreduce工作原理？Hdfs的读数据流程了解吗？Hdfs的写操作呢？zookeeper的选举过程Spark为什么比MapReduce快?Spark任务执行流程?Spark用过的解决数据倾斜的方案说一下？Flink的四大基石都有哪些？watermark的作用是啥？如何保证数据不丢失？Flink如何保证ExactlyOnce语
远方时光·2022-02-28 10:46

大数据面试题

大数据面试题https://www.yuque.com/zhongguohaopangzi/igi4hb/kws4zv京东1、列举几种数据倾斜的情况，并解释为什么会倾斜，以及如何解决？
hzp666·2022-02-28 10:58

大数据面试题汇总

一、Java面试题HashMap和HashTable的区别共同点都是Map的接口的实现类都是key/value的形式存在Hashtable和HashMap采用的hash/rehash算法都大概一样，所以性能不会有很大的差异将键映射到值的对象，其中键和值都是对象区别HashMapHashMap是HashTable的轻量级实现HashMap允许nullkey和nullvalueHashMap非线程安全
heheha_zj·2022-02-28 10:27

大数据面试题汇总（含数仓）

目录10月19日10月20日（HDFS）10月21日（hadoop）10月22日10月23日10月24日10月25日
x我有辣条跟我走。·2022-02-28 10:55

大数据面试题--数仓

目录数据仓库理论数据分层ETL星形模型与雪花模型的区别？维度建模（dimensionalmodeling）：数据仓库项目最重要或需要注意的是什么，以及如何处理？关系建模与维度建模拉链表：维度表和事实表数据仓库中的维度和粒度维度建模步骤：如何构建数据仓库？Flink面试题Flink的重启策略：Flink集群规模Flink集群有哪些角色？各自有什么作用？TODO说说Flink资源管理中TaskSlot
龙鸣丿·2022-02-28 10:50

2022年最强大数据面试宝典（全文50000字）

此套面试题来自于各大厂的真实面试题及常问的知识点，如果能理解吃透这些问题，你的大数据能力将会大大提升，进入大厂指日可待复习大数据面试题，看这一套就够了！
·2022-02-16 14:16

大数据面试题集

史上最全大数据面试题V3.1（特辑）目录：一数据仓库1.维表和宽表的考查（主要考察维表的使用及维度退化手法）2.数仓表命名规范3.拉链表的使用场景4.数据库和数据仓库有什么区别5.有什么维表时间维表、用户维表
hzp666·2022-02-11 11:45

大数据面试题

大数据面试题一、Linux常用高级命令二、shell三、hadoop四、zookeeper五、flume（三件事）六、Kafka（23件事）七、hive八、Sqoop九、AzkabanoozieairflowDolphinScheduler
cpuCode·2021-11-24 19:15

大数据面试题

大数据项目之企业级数据仓库实战第一章数据仓库概述1.1数据仓库简介1.1.1什么是数据库？数据库(Database)是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库是长期储存在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。常用的数据库有
DHRJFH·2021-08-27 22:35

大家都来看，一线大厂招收大数据工程师，面试都会问到哪些知识点

接下来，我就给大家分享，自己精心整理的一线大厂（BAT）25道大数据面试题和答案，希望大家能
javatiange·2021-06-11 16:46

面试题汇总：Hive

《大数据面试题知识点分析（六）》
金字塔下的小蜗牛·2021-06-04 18:13

杭州公司大数据面试题汇总

点击上方"大数据肌肉猿"关注,星标一起成长后台回复【加群】，进入高质量学习交流群2021年大数据肌肉猿公众号奖励制度本文是学习群的一个在杭州做.net的同学转型大数据时，在杭州面试总结的面经知识点。该同学转型经历可以参考：两年.net开发转型大数据，上岸阿里P6一、若干中小公司1..mapreduce过程介绍一下2.项目中用到的hive存储结构有哪些3.查看连续5天登陆的用户4.spark的yar
无精疯·2021-04-25 12:08

数据分析大数据面试题大杂烩02

Map端会处理输入数据并产生中间结果,这个中间结果会写到本地磁盘,每个Map的输出会先写到内存缓冲区中,当写入的数据达到设定的阈值时,系统将会启动一个线程将缓冲区的数据写到磁盘,这个过程叫做spill(spill写入之前,会先进行二次排序,首先根据数据所属的partition进行排序,然后每个partition中的数据再按key来排序.partition的目是将记录划分到不同的Reducer上去,
Gavin Kai·2021-03-09 16:44

Spark学习之路 （二）Spark2.3 HA集群的分布式安装

《2021年最新版大数据面试题全面开启更新》欢迎关注github《大数据成神之路》目录一、下载Spark安装包1、从官网下载2、从微软的镜像站下载3、从清华的镜像站下载二、安装基础三、Spark安装过程
王知无-大数据技术与架构·2021-02-12 20:36

【2021持续更新】大数据面试题整理-HBase篇

大数据最全面试题整理-HBase篇导语基础问题：Hbase是什么Hbase和hive的区别Hbase特点RowKey的设计原则HBase读写流程HBase中Zookeeper的作用Hbase中compact的用途故障排查与调优：Hbase数据热点问题HBase优化HBase宕机恢复流程为什么不建议在HBase中使用过多的列族导语本专栏博文会整理日常工作与面试中最常用到的大数据相关组件与Java语言
李奇峰1998·2021-02-08 15:34

同时拿到BATJMD的Offer是怎样的一种体验？

今天，我就跟小伙伴们分享一些经典的大数据面试题，跟我一起横扫各个大厂的Offer！后续，我会给大家输出一篇我平时是如何在工作过程中总结经验的，希望能够给小伙伴们带来实质性的帮助
·2021-02-08 10:11

2021年超全超详细的最新大数据开发面试题，附答案解析

创建V1.22021-01-17新增spark面试题V1.32021-01-18新增kafka面试题V1.42021-01-20新增hbase面试题V1.52021-01-30新增flink面试题复习大数据面试题
五分钟学大数据·2021-02-02 14:27

【2021持续更新】大数据面试题整理-hive篇

大数据最全面试题整理-hive篇导语基础问题：hive与传统数据库的区别hive的数据类型元数据保存方式内部表和外部表的区别分区表和分桶表的区别简述hive的存储格式hive如何将Hql转化为MapReducehive排序函数的区别UDF相关内容故障排查与调优数据倾斜与优化性能优化导语本专栏博文会整理日常工作与面试中最常用到的大数据相关组件与Java语言的架构、概念、知识点，方便大家进行查阅。涉及
李奇峰1998·2021-01-31 21:41

【2021持续更新】大数据面试题整理-HDFS篇

大数据面试题整理-HDFS篇导语基础知识HDFS读流程HDFS写流程HDFS文件副本放置策略HDFS的各进程名称与功能常用的hdfs命令MapReduce中Shuffle过程HDFS文件存储格式HDFS
李奇峰1998·2021-01-26 23:15

【2021持续更新】大数据面试题整理-Java篇

大数据面试题整理-Java篇导语语言特性string,stringgbuffer,stringbuilder区别：==和equals区别ArrayList和LinkedList的区别HashTable和
李奇峰1998·2021-01-26 21:10

2020大数据面试题真题总结(附答案)

https://my.oschina.net/u/4631230/blog/4533362版本更新时间更新内容v1.02020-07-01新建v1.12020-06-13朋友面试大数据工程师提供的关于架构及数仓方面的题目v1.22020-08-08朋友面试数据专家提供的数据驱动，spark及flink方面面试题v1.32020-08-22朋友面试数据开发提供的关于hive及数仓方面的题目一.Had
吃鱼的羊·2021-01-24 20:45

Flink实战（110）：flink-sql使用（十八）connector（十九）Flink 与 hive 结合使用（七） Flink Hive Connector 使用

《2021年最新版大数据面试题全面开启更新》Flink1.12版本1.Hive建表//1、创建Hive数据库createdatabasezhisheng;//2、查看创建的数据库showdatabases
王知无-大数据技术与架构·2021-01-23 15:39
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他