大数据面试

大数据面试（hadoop）

第3章Hadoop基础3.1hadoop支持三种调度器答：（1）先进先出的调度器：最早的hadoop采用的是FIFO（默认-先进先出的）调度器调度用户提交的作业。作业按照提交的顺序被调度，作业必须等待轮询到自己才能运行。但是考虑到公平在多用户之间分配资源，设置了作业的优先级功能，但是不支持抢占式的。（2）公平调度器：公平调度器的目标是让每一个用户公平的共享集群能力，充分的利用闲置的任务槽，采用“让
学好每一天技术·2020-07-04 23:49

大牛耗时三天整理的阿里必问207道java架构和大数据面试题及答案

前言相信大家在面试中都会遇到很多很难回答的问题，以至于面试不是很成功，进入公司后薪资会偏少一些！有的人会说，这面试官是不是故意刁难我呢？怎么这些问题我都不会啊！小编觉得呢，说到底还是大家的知识储备或者面试经验太少了，知识储备和面试经验都是是可以靠自己来学习积累的，下面小编就分享下总结的面试四点经验：1.不会就不会。我比较爽快，如果遇到的不会的甚至是不确定的，都直接说：“对不起，我答不上来”之类的。
程序员高级码农·2020-07-04 08:11

大数据面试题整理(一) ---- Linux和网络编程

1、linux系统内核态和用户态是什么，有什么区别？   详解链接直达：https://blog.csdn.net/qq_39823627/article/details/78736650   当一个进程在执行用户自己的代码时处于用户运行态（用户态），当一个进程因为系统调用陷入内核代码中执行时处于内核运行态（内核态）。   用户运行一个程序，该程序创建的进程开始时运行自己的代码，处于用户态。如果要
人外有人 道阻且长·2020-07-04 01:11

2020大数据面试题真题总结(附答案)

目录一.Hadoop1.hdfs写流程2.hdfs读流程3.hdfs的体系结构4.一个datanode宕机,怎么一个流程恢复5.hadoop的namenode宕机,怎么解决6.namenode对元数据的管理7.元数据的checkpoint8.yarn资源调度流程9.hadoop中combiner和partition的作用10.用mapreduce怎么处理数据倾斜问题？11.shuffle阶段,你怎
大数据私房菜·2020-06-30 19:45

大数据面试题整理1

Java语言特性1.static关键字最主要作用：方便在没有创建对象的情况下来进行调用（方法/变量）。被static关键字修饰的方法或者变量不需要依赖于对象来进行访问，只要类被加载了，就可以通过类名去进行访问。权限：静态方法中不能访问非静态成员方法和非静态成员变量，但是在非静态成员方法中是可以访问静态成员方法和静态成员变量。static变量也称为静态变量，静态变量和非静态变量的区别：静态变量被所有
shuest·2020-06-30 19:25

大数据面试问题，大数据面试技巧都有哪些呢？

大数据面试易被提问的题，大数据面试技巧都有哪些呢？介绍一下大数据人才面试的小贴士。1、结合自身经验分析目标行业我们找工作时，需要根据自己的实际情况和企业的情况来定，而不是在网上盲投，见什么职
人工智能爱好者·2020-06-30 16:31

大数据面试题

原文地址：https://www.cnblogs.com/wxplmm/p/7834457.html第一次“北漂”准备了一个星期的Hadoop，把林子雨老师的视频刷了一遍，翻出了好久没用的小本本，密密麻麻的记了一大堆。刷了网上能找到的Hadoop的所有面试题（这个真的很重要）然后，启程，北上，还好我对铺的小胖子陪着我（md回来的时候他竟然找到工作了...）第一天上午蓝色光标，下午品友蓝色光标：上来
yigg·2020-06-30 07:51

大数据面试题（附答案，持续更新...）

说说对hadoop的理解，都有哪些组件，分别是干什么的hadoop是一个分布式系统基础框架，主要包括HDFS（分布式存储系统），Mapreduce（分布式计算框架），Yarn（资源管理框架）kafka在什么地方需要用到zookeeperkafka使用zookeeper管理和协调kafka的节点服务器。zookeeper中存储的信息有broker，consumer等重要znode信息；kafka节点
乖乖猪001·2020-06-30 01:55

还没找到大数据工作的同学赶紧看看这个帖子!!!

1、哔哩哔哩百度搜索：大数据面试指南1.0或者哔哩哔哩搜索：大数据人的求职之路2、微信公众号微信公众号搜索：王傲旗的大
王傲旗的大数据之路·2020-06-29 11:18

【大数据面试】最爱问的flume面试（简单又详细，个人整理）

----------------------------------hdfs面试题---------------------------------------------------------------------------------------------MapReduce面试题------------------------------------------------------
LaZY_apple·2020-06-29 07:04

大数据面试真题整理

蚂蚁金服面试题小文件的合并MR与Spark的区别关注哪些名人的博客对大数据领域有什么自己的见解平常怎么学习大数据的StringBuilder与StringBuffer的区别HashMap与Hashtable的区别谈谈你对数的理解数据库索引的实现jvm的内存模型jvm的垃圾收集器jvm的垃圾收集算法HDFS架构HDFS读写流程Hadoop3.0做了哪些改进谈谈YARN为什么项目选择Spark，你觉得
大数据-刘耀文·2020-06-29 06:10

大数据面试题汇总【有自己的和网上总结的】

1.选择题1.1.下面哪个程序负责HDFS数据存储。c)Datanode答案Cdatanode1.2.HDfS中的block默认保存几份？a)3份答案A默认3份1.3.下列哪个程序通常与NameNode在一个节点启动？d)Jobtracker答案D1.4.HDFS默认BlockSizec)128MB答案：C1.5.下列哪项通常是集群的最主要瓶颈c)磁盘IO答案：C磁盘首先集群的目的是为了节省成本，
牛逸凡·2020-06-29 06:26

大数据面试总结 [面经分享] 2018/12/13

上午面试:神州优车面试问题:1.数据仓库建模方面数据仓库主要是通过维度建模技术,主要有两个概念:事实表和维度表接下来说一些维度建模的三种模型:星星模型,雪花模型,星座模型可以举个栗子说明一下应用场景:例如有以下表:产品表,产品分类表,商家表,用户表,订单表.然后确定我们的主题,例如是销售,接着我们要确定哪些维度对于我们分析销售这个主题有帮助,比如产品/商家/日期/用户,然后我们看下这几个表的一个外
骚年真骚·2020-06-29 05:34

大数据面试总结《十六》--面试题规律总结

关于Java的面试题：关于虚拟机的面试题：1.hashmap底层?2.Java进程中断怎么处理?3.介绍下面向对象?4.介绍下多态?5.方法重载和重写?6.这俩哪个属于多态?7.说下多线程?8.实现方式有哪些，区别?9.同步锁互斥，为什么常量不能做锁?10.说下反射，都是做什么的?11.反射机制怎么实现的?12.linkedlist和arraylist的区别?13.hashMap的存储机制和存取过
放牛班春天·2020-06-29 00:08

大数据面试总结《二十》--优秀简历的编写

简历如何写：知乎：https://www.zhihu.com/question/25002833一一：：基基本本格格调调简洁明了，逻辑结构清晰字体，排版，顺畅，清晰整齐就好最好是PDF格式，兼容性强且不易乱序二二：：基基本本信信息息（（姓姓名名/性性别别/毕毕业业院院校校/电电话话/邮邮箱箱/居居住住地地/期期望望地地））再额外能加上QQ或者微信就更好了（以防有时候电话打不通哦，时不时会遇到这种情
放牛班春天·2020-06-29 00:08

大数据面试总结《十五》--人事面试技巧总结

一定不要将公司的工作当作负担，一定要做好并且学到东西，这才是你下一次跳槽能够展示的东西，所以在公司工作，你拿着工资，而不只是在为公司打工，而是为自己的未来进行修炼，一定要有这方面的意识。总之，面试的时候要牢记一点，面试你的那个混蛋，不管他有多和善，但他问的问题，可能里面处处陷阱!!!1：人事这关也很重要，特别是工资方面，还有团队，工作方面？(重要)2：对公司的主营业务要表现足够的兴趣，关系公司的发
放牛班春天·2020-06-29 00:07

大数据面试总结

1总体情况现在我面试了三家第一家：***技术股份有限公司，已经得到复试通知第二家：***第一研究所，面试成功，给的待遇是18万~20万/年。他们在等待我的回复。第三家：电话面试，面得不好，这个部门主要不是开发，他需要熟悉各组件，做架构推荐的。下面是面试题汇总，我自己做了一些，有些正在看。2***技术股份有限公司2.1面试题2.1.1介绍自己，讲讲自己的项目2.1.2hadoop的生态圈请查看网址：
放牛班春天·2020-06-29 00:07

大数据面试题——Zookeeper篇

前言Zookeeper,中文名又称为动物园管理员。他属于Hadoop生态圈中重要的组件框架之一。主要是起到分布式协调调度的作用，日常中我们可能经常使用到zookeeper，但是他并不像HadoopSpark会经常进行应用编程的开发，也不像HiveHBase那样进行数据的交互式查询操作等。关于Zookeeper，我们更多的是在集群中搭建Zookeeper集群来进行配置管理集群管理或者是分布式锁等。这
提灯寻梦在南国·2020-06-28 20:58

大数据面试题——Spark篇

1.简要讲述hadoop和spark的shuffle相同和差异？1）从高层次的的角度来看，两者并没有大的差别。它都是将mapper（Spark里是ShuffleMapTask）的输出进行partition，不同的partition送到不同的reducer（Spark里reducer可能是下一个stage里的ShuffleMapTask，也可能是ResultTask）。Reducer以内存作缓冲区，
提灯寻梦在南国·2020-06-28 20:57

大数据面试题——Hadoop篇

前言结合南国不到一年时间学习大数据的知识梳理，加上2019年春天找实习的经历，在这里南国写博客的同时会参考一些资料写出大数据内一些高频的面试知识点。1.Hadoop基础1.1通常是集群的最主要瓶颈：磁盘IOcpu和内存在大数据集群中都是可以扩充的，磁盘不行。1.2Yarn,ClouderaManager可以作为集群的管理，zookeeper不可以。Zookeeper:是一个开源的分布式应用程序协调
提灯寻梦在南国·2020-06-28 20:57

大数据面试选择题hadoop

1.1.下面哪个程序负责HDFS数据存储。a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktracker答案Cdatanode1.2.HDfS中的block默认保存几份？a)3份b)2份c)1份d)不确定答案A默认3份1.3.下列哪个程序通常与NameNode在一个节点启动?a)SecondaryNameNodeb)DataNode
Albert陈凯·2020-06-28 20:52

云计算大数据面试题，云计算大数据面试题集锦

大数据领域数据类型1.1有界数据一般批处理(一个文件或者一批文件),不管文件多大，都是可以度量mapreducehivesparkcoresparksql1.2无界数据源源不断的流水一样(流数据)StormSparkStreaming消息队列(MessageQueue)消息Message网络中的两台计算机或者两个通讯设备之间传递的数据,例如说：文本、音乐、视频等内容队列Queue一种特殊的线性表（
weixin_34109408·2020-06-28 11:43

[大数据面试题]hadoop核心知识点

*面试答案为LZ所写，如需转载请注明出处，谢谢。*这里不涉及HiveSQL和HBase操作的笔试题，这些东西另有总结。1.MR意义。MR是一个用于处理大数据的分布式离线计算框架，它采用”分而治之“的思想。在分布式计算中，将分布式存储、分布式计算、负载均衡等复杂问题高度抽象成map和reduce两个过程。MR存在的意义在于它使得计算更廉价，大规模数据计算不再需要高级商用机器。其次是这个软件的现成实现
weixin_30750335·2020-06-28 00:25

大数据面试题及答案

1.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?假如每个url大小为10bytes，那么可以估计每个文件的大小为50G×64=320G，远远大于内存限制的4G，所以不可能将其完全加载到内存中处理，可以采用分治的思想来解决。Step1：遍历文件a，对每个url求取hash(url)%1000，然后根据所取得的值将url分别存储到1
weixin_30693183·2020-06-27 23:24

大数据面试题总结

面试题总结:分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。[优点]支持超大文件超大文件在这里指的是几百M，几百GB，甚至几TB大小的文件。检测和快速应对硬件故障在集群的环境中，硬件故障是常见的问题。因为有上千台服务器连接在一起，这样会导致高故障率。因此故
weixin_30612769·2020-06-27 22:02

转：大数据面试之_01_IT 从业人员面试小技巧

IT从业人员面试小技巧  一般来说，面试你的人都不是一个很好对付的人。别看他彬彬有礼，看上去笑眯眯的，很和气的样子。但没准儿一肚子坏水。  有些人待人特别客气，说话还稍稍有点结巴的，更容易让人上当。  所以，牢记一点，面试的时候保持高度警觉，对方不经意问出来的问题，很可能是他最想知道的。  举例来说，我每次面试的时候，最喜欢说的话就是：哦，我不是HR的，你别拘束，咱们就当是聊天……  负责面试的人
爱萨萨·2020-06-27 14:48

大数据面试题(每天更新，4月2已更新完毕)

大数据面试题(每天更新，4月2已更新完毕)(0)(0)2018-03-2016:36面试题图片较大，加载需要时间，请耐心等待.......1.在Hadoop中定义的主要公用InputFormat中，默认是哪一个
王树民·2020-06-27 13:37

Java和大数据面试指南（五）

###一、Java相关公众号全网唯一一个从0开始帮助Java开发者转做大数据领域的公众号~大数据技术与架构或者搜索import_bigdata关注~海量【java和大数据的面试题+视频资料】整理在公众号，关注后可以下载~###乐观悲观锁的设计，如何保证原子性，解决的问题；###char和double的字节，以及在内存的分布是怎样；###对象内存布局，然后讲下对象的死亡过程？###对象头，详细讲下；
大数据技术与架构·2020-06-27 06:46

算法系列-大数据面试题-两个大文件中找出共同记录

1.题目描述给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?2.思考过程（1）首先我们最常想到的方法是读取文件a，建立哈希表（为什么要建立hash表？因为方便后面的查找），然后再读取文件b，遍历文件b中每个url，对于每个遍历，我们都执行查找hash表的操作，若hash表中搜索到了，则说明两文件共有，存入一个集合。（2）但上述方法有
五癫·2020-06-26 19:37

买卖股票最佳时机问题解析！

之前写过一篇网易大数据面试的帖子，其中提到了一道算法题，原题如下：一只股票的每日收盘价存在一个数组中，现在你选择一天买入，随后选择一天卖出，不考虑时间价值，设计算法求解可能得到的最高收益。
文哥的学习日记·2020-06-26 19:11

大数据面试题集锦（附答案，讲解）

2019/10/14晚9.20分开篇点题最近由于未年底的找工作做准备，自己就收集了一些面试，进行学习，之前看视频的方法总觉得不够痛快，胡子眉毛一把抓，就计划每天晚上写一篇博客，每天都更新一篇，也是激励自己，负重前行，我会把每一个问题的讲解回答，还有我自己的思考都写进来，大家可以一起讨论。（每天5-10个）（V：18211850987）一.10亿条数据，求top10如何优化答：（刚开始没看明白问题啥
song_quan_·2020-06-26 13:49

经典大数据面试题

什么是大数据？大数据(bigdata,megadata)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Va
snow_5288·2020-06-26 13:48

最近做大数据面试官的感想

时间是不可逆的，我们不可能经历之后，然后再返回来修正自己过去的行为，但是我们可以通过观察不同时间段的相同职业人的现状来修正自己。最近一段时间，浪尖忙于招人面试，在面试别人的过程中收获了很多，我相信被我面试的人也会收获很多。面试者的工作经验有十年以上的，有五六年，还有两三年的，每个年龄段都有自己的优点和缺点（这是句废话，每个人都是优缺点参半，实际上强调的是技术实力的优缺点），在这里，其实我想表达的事
大数据星球-浪尖·2020-06-26 05:27

大数据高频面试题总结

大数据面试总结1.==和equale的区别答：（1）.可以比较基本类型也可比较引用类型，基本类型比较值，而引用类型比较内存地址。
银角大王等唐僧的日子·2020-06-26 02:17

大数据面试题及答案

Hadoop相关试题Hive相关试题1、hive表关联查询，如何解决数据倾斜的问题?倾斜原因：map输出数据按keyHash的分配到reduce中，由于key分布不均匀、业务数据本身的特点、建表时考虑不周、等原因造成的reduce上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，
_Jack_LI·2020-06-25 23:35

大数据面试总结

1、自我介绍自我介绍需要控制三分钟时间2、项目说明项目背景简要介绍自己熟悉的项目，在介绍时突出项目的经验，要有所突出，介绍自己完整能够拿得出手的项目；2.项目功能整整体设计要在最短的时间内让面试官观有一个基本的了解，就需要求职者能够详细的介绍项目实现的功能、项目实现的技术架构、能够表达出该项目的创新点与难点、如何去解决项目中的痛点；3.介绍自己的角色以及工作内容站在面试官的角度，在项目中求职者的角
Dream__people·2020-06-25 11:51

Hadoop/Spark大数据面试总结

1.简答说一下hadoop的map-reduce编程模型首先maptask会从本地文件系统读取数据，转换成key-value形式的键值对集合使用的是hadoop内置的数据类型，比如longwritable、text等将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-value在输出之后会进行一个partition分区操作，默认使用的是hashpartitioner，可以通过重写
什锦甜·2020-06-25 11:37

大数据面试题知识点分析（十）

友情提示：本专栏涉及大数据面试题及相关知识点不同于大多数的网络复制文，是博主精心准备和总结的最新的面试及知识点，喜欢
且听_风吟·2020-06-25 02:56

大数据面试题知识点分析（五）

为了保证效率和质量，每篇文章发布6个知识点，由简单及难，我们继续Hbase的尾巴，并开始HIVE：1）怎样将mysql的数据导入到hbase中？A、一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入hbase时，会按照region分区情况，在集群内做数据的负载均衡。B、hbase里面有这样一个hfileoutputformat类，他的实现可以将数据转换成hfile格
且听_风吟·2020-06-25 02:55

大数据面试题知识点分析（二）

为了保证效率和质量，每篇文章发布6个知识点，由简单及难，我们继续HDFS：1）hdfs原理，以及各个模块的职责Client：切分文件；访问或通过命令行管理HDFS；与NameNode交互，获取文件位置信息；与DataNode交互，读取和写入数据。NameNode：Master节点，只有一个，管理HDFS的名称空间和数据块映射信息；配置副本策略；处理客户端请求。DataNode：Slave节点，存储
且听_风吟·2020-06-25 02:55

大数据面试题知识点分析（七）

本篇博客继续HIVE，将所有HIVE优化相关的内容深入清楚：hive优化：1）Map的优化•增加map的个数：setmapred.map.tasks=10;•减少map的个数（合并小文件）：setmapred.max.split.size=100000000;setmapred.min.split.size.per.node=100000000;setmapred.min.split.size.p
且听_风吟·2020-06-25 02:55

大数据面试题知识点分析（十二）之Kafka面试真题及答案

已经2020年了，kafka可以说是必知必会的了，首先面试大数据岗位的时候必问kafka，甚至现在java开发岗位也会问到kafka一些消息队列相关的知识点。下面就根据最新的Kafka相关面试点总结最准确的答案如下：本文目录一、基础摸底1.1、你们Kafka集群的硬盘一共多大？有多少台机器？日志保存多久？用什么监控的？1.2、Kafka分区数、副本数和topic数量多少比较合适？1.3、Kafka
且听_风吟·2020-06-25 02:54

大数据面试题知识点分析（十一）之Flume面试真题及答案

一般情况下面试大数据岗位的时候都会问到flume，我们之前也对flume进行过总结，不过时间太快了，转眼到了2020年。下面根据本人最新的flume相关面试并总结最准确的答案如下：本文目录一、Flume的Source，Sink，Channel的作用？你们Source是什么类型？1.1、首先各组件的作用1.2、实际生产常用的Source类型为：二、你对Flume的ChannelSelectors了解
且听_风吟·2020-06-25 02:54

大牛耗时三天整理的阿里必问207道java架构和大数据面试题及答案

前言相信大家在面试中都会遇到很多很难回答的问题，以至于面试不是很成功，进入公司后薪资会偏少一些！有的人会说，这面试官是不是故意刁难我呢？怎么这些问题我都不会啊！小编觉得呢，说到底还是大家的知识储备或者面试经验太少了，知识储备和面试经验都是是可以靠自己来学习积累的，下面小编就分享下总结的面试四点经验：1.不会就不会。我比较爽快，如果遇到的不会的甚至是不确定的，都直接说：“对不起，我答不上来”之类的。
互联网全栈工程师·2020-06-25 00:53

大数据常见面试题

大数据面试题1、scala隐函数关键字implicit2、valx=y=1结果1)x、y都是var，x变为Unit2)都是val，报错3、java内存模型堆内存、栈内存、方法区栈内存：保存局部变量堆内存
美食江湖·2020-06-24 16:05

30个常见的大数据面试题 让你的薪资提升一个等级

但这个收获不仅仅需要你学到娴熟的大数据技术，还需要在面试之前精心准备，了解自己要应聘的企业发展状况、自己应聘岗位的技术要求等等，除此之外，多看一些大数据面试题也是很有必要的，给自
mkkm1314·2020-06-24 15:52

大数据面试题分享：大数据职位面试需要知道的知识

在面试大数据职位的时候，你会遇到多种问题(hdfs、mapreduce、zookeeper、hadoop、hbase等等)，当时你的内心是崩溃的。写下这篇文章的意义是提高你的面试成功率，让你用出洪荒之力，职业生涯进一步发展。1.hdfs原理，以及各个模块的职责Namenode的目录结构：很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发
小迪和夫人·2020-06-23 22:21

大数据面试题，唬住50k

选择题下面哪个程序负责HDFS数据存储。a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktracker答案CdatanodeHDfS中的block默认保存几份？a)3份b)2份c)1份d)不确定答案A默认3份下列哪个程序通常与NameNode在一个节点启动?a)SecondaryNameNodeb)DataNodec)TaskTra
小晨说数据·2020-06-23 16:03

2020年最新大数据面试题，你都会吗？

关注公众号“小晨说数据”，一起学习，一起进步！1.阐述Flink如何处理反压，相比Storm，SparkStreaming提供的反压机制，描述其实现有什么不同？2.阐述流处理引擎提供的三种数据处理语义，解释FlinkCheckpoint机制如何保证Flink程序结果的Exactly-Once语义，描述如何通过两阶段提交协议提供端到端的Exactly-Once保证？结合Kafka如何构建端到端的Ex
小晨说数据·2020-06-23 16:01

大数据面试题（海量数据）

1.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？方案1：将大文件分成能够被内存加载的小文件。可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。s遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个
大数据开发·2020-06-23 16:46
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他