大数据面试

大数据技术之_32_大数据面试题_01_Hive 基本面试 + Hive 数据分析面试 + Flume + Kafka 面试

大数据技术之_32_大数据面试题_01一、Hive基本面试1、什么是metastore2、metastore安装方式有什么区别3、什么是ManagedTable跟ExternalTable？
黑泽君·2020-08-12 13:58

大数据面试之_01_IT 从业人员面试小技巧

IT从业人员面试小技巧  一般来说，面试你的人都不是一个很好对付的人。别看他彬彬有礼，看上去笑眯眯的，很和气的样子。但没准儿一肚子坏水。  有些人待人特别客气，说话还稍稍有点结巴的，更容易让人上当。  所以，牢记一点，面试的时候保持高度警觉，对方不经意问出来的问题，很可能是他最想知道的。  举例来说，我每次面试的时候，最喜欢说的话就是：哦，我不是HR的，你别拘束，咱们就当是聊天……  负责面试的人
aodawu2891·2020-08-11 21:36

上海小公司大数据面试题汇总(万字干货)(建议收藏)

1.东软集团架构师电话面试二十分钟：1.1.hbase有什么特点，他的优缺点：海量存储，列式存储，高并发，稀疏（列的灵活性，列族中可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的），高可用（WAL解决高可用，瞬间写入量）2.单一RowKey固有的局限性决定了它不可能有效地支持多条件查询，不支持SQL语句1.1.3hbase的过滤器说几个及其作用：比较运算符（less,greater_
大数据肌肉猿·2020-08-11 20:54

大数据面试总结《十九》--面试题

Java集合类：1.Java的HashMap是如何工作的？HashMap是一个针对数据结构的键值，每个键都会有相应的值，关键是识别这样的值。HashMap基于hashing原理，我们通过put()和get()方法储存和获取对象。当我们将键值对传递给put()方法时，它调用键对象的hashCode()方法来计算hashcode，让后找到bucket位置来储存值对象。当获取对象时，通过键对象的equa
放牛班春天·2020-08-11 19:02

大数据面试常见Java问题——JVM

文章目录JVM1.请说明一下Java虚拟机的作用是什么？2.Java内存结构3.解释内存中的栈（stack），堆（heap）和方法区（methodarea）的用法4.对象分配规则5.假设一个场景，要求stoptheworld时间非常短，你会怎么设计垃圾回收机制？6.请说明一下eden区和survival区的含义以及工作原理？7.请简单说明一下JVM的回收算法以及它的回收器是什么？还有CMS采用哪种
锦超风采·2020-08-10 09:16

【面试】将 95% 求职者拒之门外的BAT大数据面试题-附解题方法（文末有福利）

写在前面最近不少读者找我要大数据面试题，我整理了很久，筛选出这10道容易出错的大数据面试题，希望对大家有所帮助。题目与解答整理自互联网，感谢分享这些面经的技术大牛们！
冰河团队·2020-08-07 23:00

Ucloud大数据面试题（二面凉凉）

ucloud一面：0、问项目1、java如何查看内存溢出（jvm\jps\jconsole\jmap等工具），程序出现故障了怎么查看哪儿出现了错误2、linux下，调用shell脚本后，如何判断脚本是否正常启动。使用netstat查看3、线程和进程的区别4、说一下二叉排序树的定义5、说一三种及以上的排序。。。快速排序的时间复杂度是多少。。。emmm6、tcp三次握手连接7、docker使用过吗？8
柯南爱上指针·2020-08-07 09:21

大数据与云计算——牛客网大数据面试问题总结

本文是个人从牛客网中的大数据的面试的面经中筛选出来与大数据的的相关的面试的问题：包括以下的技术栈：FlumeZookeeperHbaseHiveHadoopSparkFlinkHDFSYarnSqoopKafkaScala……下面将分成这些部分分别整理好相关的问题供大家学习：FlumeZookeeperHbaseHiveHadoopSparkFlinkHDFSYarnSqoopKafkaScala
庄小焱·2020-08-04 21:43

大数据面试题——场景题

有如下场景：某公司网站每日访问量达到10亿级别的访问量，每次访问记录一条数据，数据包含如下字段：用户ID，访问时间（毫秒级），访问页面。要求使用hive求出所有在5分钟内访问次数达到100次的用户（求出用户ID即可）思路：利用窗口函数Lag详细思路：1.选出当天访问次数达到100次的用户（即当天有100及以上条数据的用户）：根据用户ID分组，count2.在每个用户ID小组内（步骤1已进行分组）按
大数据-刘耀文·2020-08-04 21:33

Java和大数据面试指南（二）

Java相关面试题公众号全网唯一一个从0开始帮助Java开发者转做大数据领域的公众号~大数据技术与架构或者搜索import_bigdata关注~海量【java和大数据的面试题+视频资料】整理在公众号，关注后可以下载~Arraylist与LinkedList默认空间是多少；List元素是有序的、可重复ArrayList、Vector默认初始容量为10List元素是有序的、可重复ArrayList、V
大数据技术与架构·2020-08-04 03:38

大数据面试题整理2

10.锁Java中的锁分类在读很多并发文章中，会提及各种各样锁如公平锁，乐观锁等等，这篇文章介绍各种锁的分类。介绍的内容如下：公平锁/非公平锁可重入锁独享锁/共享锁互斥锁/读写锁乐观锁/悲观锁分段锁偏向锁/轻量级锁/重量级锁自旋锁上面是很多锁的名词，这些分类并不是全是指锁的状态，有的指锁的特性，有的指锁的设计，下面总结的内容是对每个锁的名词进行一定的解释。公平锁/非公平锁公平锁是指多个线程按照申请
shuest·2020-08-03 09:28

大数据面试简答题 (一) - hadoop

文章目录1.怎么理解分布式？2.hadoop的组成部分3.HDFS副本存放机制4.Namenode作用5.DataNode作用6.什么是机架感知？7.什么时候会用到机架感知？8.HDFS数据写入流程？在这里插入图片描述9.HDFS数据读取流程？10.HDFS数据完整性如何保证？在这里插入图片描述11.HDFS特性？（适用场景：一次写入，多次读取）在这里插入图片描述12.HDFS缺点？13.什么时候
红尘丶世界·2020-08-01 12:34

Hadoop大数据面试--Hadoop篇

本篇大部分内容参考网上，其中性能部分参考：http://blog.cloudera.com/blog/2009/12/7-tips-for-improving-mapreduce-performance/、http://www.idryman.org/blog/2014/03/05/hadoop-performance-tuning-best-practices/原理篇：1.Hadoop2.X的各
fansy1990·2020-08-01 12:39

大数据面试题-JavaSE

1、String、StringBuffer、StringBuilder区别及底层实现1、String是字符串常量，StringBuffer、StringBuilder是字符串变量2、StringBuffer线程安全(方法用了synchronized修饰)、StringBuilder线程不安全3、底层都是char[]，String用了final修饰，后二者初始容量是16+字符串的长度，追加前都会检查
jiangw-Tony·2020-07-31 21:31

大数据面试题-MapReduce&YARN

1、mapreduce流程？Map阶段：1：读取输入文件的内容，并解析成键值对（）的形式，输入文件中的每一行被解析成一个对，每个对调用一次map()函数。2：用户写map()函数，对输入的对进行处理，并输出新的对。3：对Step2中得到的进行分区操作。4：不同分区的数据，按照key值进行排序和分组，具有相同key值的value则放到同一个集合中。5（可选）：分组后的数据进行规约。Reduce阶段：
jiangw-Tony·2020-07-31 21:31

大数据面试题-HDFS

1、什么是大数据?可以从数据的“5V”特性来进行阐述：一、Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。二、Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。三、Value：数据价值
jiangw-Tony·2020-07-31 21:31

大数据面试题-Linux

1、列举Linux中查看系统性能的工具（区分CPU、内存、磁盘、网络等）iostat监测IO状态top查看进程free查看内存vmstat可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况fping查看即时网络df查看硬盘2、Linux默认栈空间有多大？10M3、grep、sed、awk分别指什么？简述一下grep、sed、awk的区别grep
jiangw-Tony·2020-07-31 21:31

2018年大数据面试题总结

目前面试了多家大数据开发工程师，成长了很多，也知道了很多知识，下面和大家分享一下我遇到的面试题和答案。1.kafka集群的规模，消费速度是多少。答：一般中小型公司是10个节点，每秒20M左右。2.hdfs上传文件的流程。答：这里描述的是一个256M的文件上传过程①由客户端向NameNode节点节点发出请求②NameNode向Client返回可以可以存数据的DataNode这里遵循机架感应原则③客户
~小辉辉·2020-07-30 18:10

大数据培训学习，面试真题HTML综合篇

大数据面试真题第五期来啦，大家的Python和Java技巧都掌握的怎么样了呢？大数据技术需要的不只是后端的架构，前端的知识也需要稍微了解一点才能和团队更好地配合。
weixin_44386638·2020-07-30 12:13

海量数据处理：1G大小的一个文件中找出出现频率最高的100个数

1.题目描述有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M，要求返回频数最高的100个词2.思考过程（1）参见我的其他大数据面试题博文。
五山口老法师·2020-07-29 15:03

大数据面试题--Flink基础篇

谈一谈对Flink的理解和认识？Flink是一个纯粹的流处理框架，所有的算子操作都是有状态的。Flink提供强大的状态管理、完备的窗口计算等策略。相比较于其他流处理框架而言，Flink具有高吞吐和低延迟的优势，能够基于Event-Time实现窗口状态计算，同时也支持对延迟数据的处理。Flink这款框架在架构的设计上和Spark的宏观架构非常相似，在资源管理上底层可以使用standalone、yar
丿沐染烟忱丶·2020-07-28 23:28

大数据面试技巧——个人总结（持续更新）

说明：以下内容仅为个人观点，仅供参考。说期望薪资一定要说具体值，不要说区间。问题尽可能回答的详细一点。面试官问的一个问题，你回答的越细（比较问你shuffle流程你跟他说一个小时，甚至画张图出来），他后面越问的越少。一方面是因为你一个问题都能答的那么细，他就觉得你其它方面也还可以。另一方面，面试也有时间限制的，后面的人可能还在等着呢。于是可能你答完这个问题，他随便再问一两个问题基本就可以谈薪资了。
大数据-刘耀文·2020-07-28 21:26

大数据面试题

目录一、linux相关内容21、什么是交换空间？22、Linux下的权限有哪些？23、如何在Linux下更改权限？34、什么是守护进程？35、使用vi编辑器时有哪些不同的模式？36、计算文件夹大小的命令是什么？37、Linux常用命令：38、简述三次握手四次挥手49、Http请求的GET和POST方式的区别510、硬链接和软链接的区别511、Linux中要找出某一文件属于哪个RPM软件包的命令：6
qq_18219755·2020-07-28 05:52

大数据面试之一（java）

第1章Java1.1ConcurrentHashMap是怎么实现的？答：ConcurrentHashMap是concurrent包中线程安全的哈希表，采用分段锁，可以理解为把一个大的Map拆分成N个小的HashTable，根据key.hashCode()来决定把key放到哪个HashTable中。在ConcurrentHashMap中，就是把Map分成了N个Segment，put和get的时候，都
学好每一天技术·2020-07-28 03:20

大数据面试题

原文链接：https://blog.csdn.net/albg_boy/article/details/78424509第1部分选择题1.1Hadoop选择题1.1.1Hdfs下面哪个程序负责HDFS数据存储？1a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktrackerHDfS中的block默认保存几份？1a)3份b)2份c)1
hzp666·2020-07-27 23:38

大数据面试题整理汇总（持续更新ING）

目录Hadoop1.下列哪项通常是集群的最主要瓶颈2.请列出正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?3.HDFS读写流程Spark1.对于Spark存在的数据倾斜问题你有什么好的解决方法吗？2.简述你所理解的Spark的shuffle过程3.Spark中的算子分为哪两类？Hive1.谈一下hive的特点，以及hive和RDBMS有什么异同2.说一下hi
Jiweilai1·2020-07-27 16:05

大数据面试知识点总结Spark Sql、DataFrames、DataSet

1简述SparkSQL中RDD、DataFrame、DataSet三者的区别与联系?（笔试重点）1）RDD优点:编译时类型安全编译时就能检查出类型错误面向对象的编程风格直接通过类名点的方式来操作数据缺点:序列化和反序列化的性能开销无论是集群间的通信,还是IO操作都需要对对象的结构和数据进行序列化和反序列化。GC的性能开销，频繁的创建和销毁对象,势必会增加GC2）DataFrameDataFrame
美食江湖·2020-07-16 03:38

大数据面试题分析

最近学习了hashtable的一点知识，发现可以用来解决大数据的一些问题。我们这里讲的大数据分析事实上并不是分布式和数据挖掘这些高深的概念，而是针对从从一个大文件或者一堆数据（内存放不下）中找出具有某种特点的数，这也是近年来各大公司经常考的问题。面试题1：给一个超过100G大小的logfile,log中存着IP地址,设计算法找到出现次数最多的IP地址？解析：100G的文件给我们的感觉是太大，我们的
csuwubing·2020-07-15 21:04

大数据面试题及答案上篇 01

day01-day02初始大数据0.linux集群情况1.window宿主192.168.137.188node01.hadoop.comnode01192.168.137.10000:50:56:3D:7D:CCroot123456node02.hadoop.comnode02192.168.137.11000:50:56:3D:2F:CCroot123456node03.hadoop.comn
啊策策·2020-07-15 07:55

大数据面试题——如何在大量的数据中找出不重复的数

问题描述：在2.5亿个整数中找出不重复的数，注意，内存不足以容纳2.5亿个整数。分析解读：方法一：分治法采用hash的方法，把这2.5亿个数划分到更小的文件中，从而保证每个文件的大小不超过可用内存的大小。然后对于每个小文件而言，所有的数据可以一次性被加载到内存中，因此可以使用字典或set来找到每个小文件中不重复的数。当处理完所有的文件后就可以找出这2.5亿个整数中所有的不重复的数。方法二：位图法对
weixin_30809173·2020-07-15 03:05

大数据面试题

Mapreduce的理解？Mapreduce的执行原理？MapReduce程序运行流程Mapper阶段1、先将HDFS中的输入文件file按照一定的标准进行切片2、调用自己编写的map逻辑，将输入的键值对变成3、按照一定的规则对输出的键值对进行分区4、对每个分区中的键值对进行排序。Reduce阶段1、对多个Mapper任务的输出，按照不同的分区，通过网络拷贝到不同的Reducer节点上进行处理，将
weixin_30273763·2020-07-15 02:50

大数据面试题

1、给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？1)可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。2)遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的大约为300M。3)遍历文件b
Yan456jie·2020-07-14 06:03

算法系列-大数据面试题-在超大文件中找出访问百度次数最多的IP

1.题目描述现有海量日志数据保存在一个超级大的文件中，该文件无法直接读入内存，要求从中提取某天出访问百度次数最多的那个IP2.思考过程（1）面试中若题目提到大文件等，其实就是告诉你数据量大，不能一次性加载到内存中，而实际中我们就需要估算。既然是要对访问百度次数的ip做统计，我们最好先预处理一下，遍历把访问百度的所有ip写到另一个文件a中（2）ip用32位表示，所以最多有2^32个不同ip地址。同样
五癫·2020-07-13 14:39

大数据面试题(一)

1．列举出Hadoop中定义的最常用的InputFormats，那个是默认的？答：TextInputFormat(默认)用于读取纯文本文件,key是每一行的位置偏移量，是LongWritable类型的，value是每一行的内容，为Text类型KeyValueTextInputFormat同样用于读取文件，如果行被分隔符（缺省是tab）分割为两部分，第一部分为key，剩下的部分为value；如果没有
王屋山下的传说·2020-07-13 09:01

大数据面试题(二)

基础1、hashmap的初始值大小---162、ArrayList的初始值大小---103、hashmap的排序问题Mapmap=newHashMap();map.put("d",2);map.put("c",1);map.put("b",1);map.put("a",3);List>infoIds=newArrayList>(map.entrySet());//排序Collections.sor
王屋山下的传说·2020-07-13 09:01

30个常见的大数据面试题，让你的薪资提升一个等级，大家快来看看吧！

但这个收获不仅仅需要你学到娴熟的大数据技术，还需要在面试之前精心准备，了解自己要应聘的企业发展状况、自己应聘岗位的技术要求等等，除此之外，多看一些大数据面试题也是很有必要的，给自
chuanmao9486·2020-07-13 03:46

117道有关大数据面试题解析，希望对你有所帮助

一.简述如何安装配置apache的一个开源的hadoop1.使用root账户登陆2.修改ip3.修改host主机名4.配置ssh免密登陆5.关闭防火墙6.安装ＪＤＫ7.解压hadoop安装包8.配置hadoop的核心配置文件hadoop-env.sh?core-site.xml?mapred-site.xmlyarn-site.xmlhdfs-site.xml9.配置hadoop的环境变量10.格
chuanmao9486·2020-07-12 21:05

大数据面试中经典的案例分析

1.Hadoop会有哪些重大故障，如何应对？1）namenode单点故障：通过zookeeper搭建HA高可用，可自动切换namenode。2）ResourceManager单点故障：可通过配置YARN的HA，并在配置的namenode上手动启动ResourceManager作为Slave，在Master故障后，Slave会自动切换为Master。3）reduce阶段内存溢出：是由于单个reduc
提灯寻梦在南国·2020-07-12 10:57

大数据面试题总结

BigData面试题总结JAVA相关1-1）List与set的区别？老掉牙的问题了，还在这里老生常谈：List特点：元素有放入顺序，元素可重复，Set特点：元素无放入顺序，元素不可重复。1-2）数据库的三大范式？原子性、一致性、唯一性1-3）java的io类的图解1-4）对象与引用对象的区别对象就是好没有初始化的对象，引用对象即使对这个对象进行了初始化，这个初始化可以使自己的直接new的也可以是直
羽数据同行·2020-07-11 21:44

大数据面试题汇总

1、给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。s遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的大约为300M。s遍历文件b
qibobo·2020-07-11 14:03

大数据面试题整理

JAVA相关1-1）List与set的区别？老掉牙的问题了，还在这里老生常谈：List特点：元素有放入顺序，元素可重复，Set特点：元素无放入顺序，元素不可重复。1-2）数据库的三大范式？原子性、一致性、唯一性1-3）java的io类的图解1-4）对象与引用对象的区别对象就是好没有初始化的对象，引用对象即使对这个对象进行了初始化，这个初始化可以使自己的直接new的也可以是直接其他的赋值的，那么背n
chuanjiaoye5017·2020-07-11 03:58

大数据面试题整理

有道云笔记原文件和PDF文件重新上传【增加分类方便查看】：https://download.csdn.net/download/z1941563559/125491491.HashMap和Hashtable区别2.HashMap、Hashtable、ConcurrentHashMap的原理与区别3.Java垃圾回收机制和生命周期4.怎么解决Kafka数据丢失的问题5.zookeeper是如何保证数
PersistJiao·2020-07-10 14:21

大数据面试

技术面试题1.Hadoop中有哪些组件？Hadoop=HDFS+Yarn+MapReduce+Hive+Hbase+...1).HDFS:分布式文件存储系统主：namenode,secondarynamenode从：datanode2).Yarn:分布式资源管理系统，用于同一管理集群中的资源（内存等）主：ResourceManager从：NodeManager3).MapReduce:Hadoop
thoughtCodes·2020-07-10 12:07

大数据面试系列之——Java基础

1.String和StringBuffer的区别JAVA平台提供了两个类:String和StringBuffer，它们可以储存和操作字符串，即包含多个字符的字符数据这个String类提供了数值不可改变字符串而这个StringBuffer类提供的字符串进行修改当你知道字符数据要改变的时候你就可以使用StringBuffer典型地，你可以使用StringBuffers来动态构造字符数据2.说出Arra
潜心_守道·2020-07-09 11:57

大数据面试之——大数据解决方案思维题

1.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?方案1：假如每个url大小为10bytes，那么可以估计每个文件的大小为50G×64=320G，远远大于内存限制的4G，所以不可能将其完全加载到内存中处理，可以采用分治的思想来解决。Step1：遍历文件a，对每个url求取hash(url)%1000，然后根据所取得的值将url分别
潜心_守道·2020-07-09 11:18

大数据面试系列之——Kafka

1什么是kafkaKafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。2为什么要使用kafka，为什么要使用消息队列缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在k
潜心_守道·2020-07-09 11:18

大数据相关知识点

大数据面试题总结最近由于要准备面试就开始提早看些面试、笔试题。以下是自己总结的一些经常出现、有价值的试题，包含hadoop、hive、hbase、storm、spark等。
Mr.WiG·2020-07-08 19:21

大数据面试题

Linux部分①列举你使用的常用指令？②怎么查看服务是否开启？后面的参数都是什么意思？③怎么查看服务器内存使用情况？④日志查看指令？⑤跨机房怎么传输文件？Hadoop部分①怎么搭建一个Hadoop集群？②Hadoop的Shuffer机制？③切片概念？文件256M时，几个切片？④Mr任务提交到yarn流程？⑤数据倾斜概念？Hive部分①hive本质？②groupby、sortby、orederby、
孙晨c·2020-07-08 11:00

mapreduce过程解析及任务调度问题

mapreduce原理，大数据面试的时候，很多时候会问道，今天来整理一下，同时我尽量总结得简洁易读。
杜之心·2020-07-07 20:32

大数据面试题个人整理（一）

大数据面试题个人整理（一）Hadoop相关试题1、MapTask并行机度是由什么决定的？由切片数量决定2、MR是干什么的？
如何释然╰╮·2020-07-05 09:15
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他