大数据面试

大牛耗时三天整理的阿里必问207道java架构和大数据面试题及答案

前言相信大家在面试中都会遇到很多很难回答的问题，以至于面试不是很成功，进入公司后薪资会偏少一些！有的人会说，这面试官是不是故意刁难我呢？怎么这些问题我都不会啊！小编觉得呢，说到底还是大家的知识储备或者面试经验太少了，知识储备和面试经验都是是可以靠自己来学习积累的，下面小编就分享下总结的面试四点经验：1.不会就不会。我比较爽快，如果遇到的不会的甚至是不确定的，都直接说：“对不起，我答不上来”之类的。
互联网全栈工程师·2020-06-25 00:53

大数据常见面试题

大数据面试题1、scala隐函数关键字implicit2、valx=y=1结果1)x、y都是var，x变为Unit2)都是val，报错3、java内存模型堆内存、栈内存、方法区栈内存：保存局部变量堆内存
美食江湖·2020-06-24 16:05

30个常见的大数据面试题 让你的薪资提升一个等级

但这个收获不仅仅需要你学到娴熟的大数据技术，还需要在面试之前精心准备，了解自己要应聘的企业发展状况、自己应聘岗位的技术要求等等，除此之外，多看一些大数据面试题也是很有必要的，给自
mkkm1314·2020-06-24 15:52

大数据面试题分享：大数据职位面试需要知道的知识

在面试大数据职位的时候，你会遇到多种问题(hdfs、mapreduce、zookeeper、hadoop、hbase等等)，当时你的内心是崩溃的。写下这篇文章的意义是提高你的面试成功率，让你用出洪荒之力，职业生涯进一步发展。1.hdfs原理，以及各个模块的职责Namenode的目录结构：很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发
小迪和夫人·2020-06-23 22:21

大数据面试题，唬住50k

选择题下面哪个程序负责HDFS数据存储。a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktracker答案CdatanodeHDfS中的block默认保存几份？a)3份b)2份c)1份d)不确定答案A默认3份下列哪个程序通常与NameNode在一个节点启动?a)SecondaryNameNodeb)DataNodec)TaskTra
小晨说数据·2020-06-23 16:03

2020年最新大数据面试题，你都会吗？

关注公众号“小晨说数据”，一起学习，一起进步！1.阐述Flink如何处理反压，相比Storm，SparkStreaming提供的反压机制，描述其实现有什么不同？2.阐述流处理引擎提供的三种数据处理语义，解释FlinkCheckpoint机制如何保证Flink程序结果的Exactly-Once语义，描述如何通过两阶段提交协议提供端到端的Exactly-Once保证？结合Kafka如何构建端到端的Ex
小晨说数据·2020-06-23 16:01

大数据面试题（海量数据）

1.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？方案1：将大文件分成能够被内存加载的小文件。可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。s遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个
大数据开发·2020-06-23 16:46

[大数据面试]-- 2.Scala 题目

=========基础=========1var,val和def三个关键字之间的区别?valimmutablevariablevarmutablevariabledeffunctiondefinedkeyword2.object和class的区别?object单例无构造器成员变量和method都是static可以直接访问main方法可以与class同名构成伴生对象class有构造器需要创建对象才能
highfei2011·2020-06-23 14:37

【大数据面试】--2019年面试和笔试题目汇总

一、前言经过一段时间的面试和笔试，已经彻底快让自己失去了信心！年底了，找工作真难！但是这也对个人将来的规划和学习工作有了一定的提示。下面将把个人算是面经吧，分享出来，希望对各位有帮助。二、思考每次进入一家公司，即要做好离开的准备！--因为公司不是你的家一定要建立起自己的知识库，必须频繁循环下面的过程：获取、应用、更新和存储！--与时俱进要既会做人，还要会做事！--做人在前，做事在后你只是一般人而已
highfei2011·2020-06-23 14:06

提前突击了这近200道大数据面试题，果然头条、京东都给了Offer

面试题包括Java、大数据开发、大数据运维、大数据分析、大数据架构等等Q1：老师线上6000+规模集群，抛开一些其它组件集群，仅讨论HDFS数据存储集群，保守理应也在有3000节点左右，想知道这些存储节点只是单集群NameNode集群来维护吗？还是多集群独立维护的，如果是多集群存储数据，它们之间数据是如何打通进行关联的？如果仅是一个集群的话，我想知道这个集群的NameNode上的配置，是如何Hol
大数据研习社·2020-06-23 02:00

大数据面试知识图谱

作者:大数据技术与架构By大数据技术与架构场景描述：大数据开发岗位技能树，学习和复习总纲。关键词：面试大数据大纲正所谓，无招胜有招。愿读到这篇文章的技术人早日明白并且脱离技术本身，早登彼岸。一切技术最终只是雕虫小技。大纲本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，以及我们面试一个大数据开发岗位的时候，哪些东西是重点考察的，这些公司更希望面试者具备哪
Hadoop技术博文·2020-06-22 16:37

大数据面试系列之——Spark

ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。1.Spark有几种部署模式，各个模式的特点1.本地模式Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。方便调试，本地模式分三类local：只启动一个executorlocal[k]:启动k个executorlocal：启动跟cpu数目相同的executor2.standalone模式分布式部署集群
潜心_守道·2020-06-21 22:23

大数据面试系列之——Hbase

Hbase是一个分布式的列式存储的数据库1.说说Hbase的特点1.分布式架构，Hbase通过集群存储数据，数据最终会落到HDFS上2.是一种NoSQL的非关系型数据库，不符合关系型数据库的范式3.面向列存储，底层基于key-value结构4.适合存储半结构化、非结构化的数据5.适合存储稀疏的数据，空的数据不占用空间6.提供实时的增删改查的能力，但是不提供严格的事务机制，只能在行级别提供事务2.H
潜心_守道·2020-06-21 22:52

大数据面试前的总体准备（一）

咱们学了这么久的大数据了，也改到面试的时候了。那么我们该怎么去面试呢？我觉得不论你学多少面试技巧，你的基本能力不到位那是不可能要你的，因为你总得去干活吧，不会怎么去干活呢？所以我打算从头过一遍咱们的所有知识，来，不多bb！淦！（一）HadoopHadoop：HDFS/YARN/MapReduce简单概述HDFS:NameNodeDataNodeSecondaryNameNode概念：ClientN
Daivei_lai·2020-06-21 19:28

大数据面试题记录

1海量日志数据，提取出某日访问百度次数最多的那个IP解法1：（1）海量日志，文件太大，IP地址最多有2^32=4G，无法装入内存，，将这个大文件（hash映射：可以取模%1000）分成多个小文件（如1000）。（2）对每个小文件进行hash统计，hash_map(ip,value),得到每个文件出现频率最多的ip（3）将这些频率最高的ip进行统计，然后排序得出最大值，这里可以采用堆/快速/归并，但
xlf13872135090·2020-06-21 14:32

今年做开发面试太难了！面试面到我心态爆炸！

“我一看简历，深度不够，没有实战经验，更重要的是缺乏行业认知“我们做大数据的，虽说是薪资高，但门槛也是高，这几年我陆陆续续面过不少人，对面人选人都算是有自己的心得，今天就挑一个年薪30w的大数据面试题，
程序员小乐·2020-06-21 14:59

大数据面试题必读

kafka的message包括哪些信息一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果magic的
牛逸凡·2020-06-21 12:46

30个常见的大数据面试题 让你的薪资提升一个等级

但这个收获不仅仅需要你学到娴熟的大数据技术，还需要在面试之前精心准备，了解自己要应聘的企业发展状况、自己应聘岗位的技术要求等等，除此之外，多看一些大数据面试题也是很有必要的，给自
weixin_34284188·2020-06-21 11:21

【新鲜出炉】大厂面经的大数据面试之路

一、Java基础1.string、stringbulider、stringbuffer的区别2.ArrayList、LinkedList、Vector区别3.Class.forName和classloader的区别Java中Class.forName和classloader都可以用来对类进行加载。Class.forName除了将类的.class文件加载到jvm中之外，还会对类进行解释，执行类中的s
sinat_40775402·2020-06-21 07:58

《大数据面试题》面试大数据这一篇就够了

文章目录Hadoop常见面试题1.mr工作原理☆☆☆☆2.split机制☆☆☆☆☆3.namenode,datanode,secondaryNameNode分别是干什么的？☆☆☆☆☆4.mronyarn工作原理☆☆☆☆☆5.fsimage和edits是干什么的？为什么要使用？☆☆☆☆6.hdfs工作原理☆☆☆☆7.block副本放置策略☆☆☆Hive常见面试题1.简述Hive工作原理☆☆☆☆☆2.
abluer~·2020-06-21 06:55

大数据面试题知识点分析（六）

为了保证效率和质量，每篇文章发布6个知识点，由简单及难，我们继续HIVE：1）hive支持notin吗？不支持，可以用leftjoin实现此功能。2）Hive有哪些方式保存元数据，各有哪些优缺点？1.存储于内存数据库derby，此方法只能开启一个hive客户端，不推荐使用。2.存储于mysql数据库，可以多客户端连接，推荐使用。分为本地mysql数据库，远程mysql数据库，但是本地的mysql数
且听_风吟·2020-06-21 04:22

史上最全141道大数据面试题：Redis+Linux+kafka+Hadoop，附答案

Redis面试专题及答案什么是缓存穿透？如何避免？什么是缓存雪崩？何如避免？使用过Redis做异步队列么，你是怎么用的？有什么缺点？使用过Redis分布式锁么，它是怎么实现的？上述Redis分布式锁的缺点Redis回收进程如何工作的？Redis如何做内存优化？Rediskey的过期时间和永久有效分别怎么设置？Redis事务相关的命令有哪几个？怎么理解Redis事务？Redis中的管道有什么用？Re
程序员高级码农1·2020-06-20 20:08

【面试题】最新大数据面试题总结之Kafka（持续更新）

文章目录--关于kafka架构--Kafka的分区分配策略--怎么保证数据kafka里的数据安全？–关于kafka架构主要由生产者、Broker、消费者、ZK组成注意：Zookeeper中保存Brokerid和消费者offsets等信息，但是没有生产者信息。–Kafka的分区分配策略在Kafka内部存在两种默认的分区分配策略：Range和RoundRobin。当组里消费者数量发生变化的时候都会触发
Nien_Ling·2020-06-20 16:05

【面试题】最新大数据面试题总结之Java（持续更新）

文章目录--Java中不可变字符串和常量的区别--Thread线程中wait方法和sleep方法的区别--HashMap底层源码，数据结构--Java自带哪几种线程池？--HashMap和HashTable区别–Java中不可变字符串和常量的区别不可变字符串只是说内存的地址不可变而已，所在地址的内容其实是可以通过反射进行改变的，不能直接叫常量，常量内容是没法改的。–Thread线程中wait方法和
Nien_Ling·2020-06-20 16:10

【面试题】最新大数据面试题总结之Hive（持续更新）

文章目录--Hive优化--Hive的内部（管理）表和外部表的区别--4个By区别--Hive的架构--Hive和数据库比较--系统函数–Hive优化1）MapJoin如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成CommonJoin，即：在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行joi
Nien_Ling·2020-06-20 15:14

【面试题】最新大数据面试题总结之Flume（持续更新）

文章目录--HDFSSink如何避免生成大量小文件--filechannel/memorychannel/kafkachannel的区别及如何选择--Flume组成、每个组件的常用类型及其特点--关于Taildirsource--关于Flume流式处理事务流程--FlumeAgent内部原理–HDFSSink如何避免生成大量小文件官方默认的这三个参数配置写入HDFS后是会产生小文件的，需要修改配置
Nien_Ling·2020-06-20 15:10

【面试题】最新大数据面试题总结之Zookeeper（持续更新）

文章目录--选举机制--常用命令--ZooKeeper的部署方式有哪几种？集群中的角色有哪些？集群最少需要几台机器？--监听器原理--Paxos算法（扩展）--什么是CAP法则？Zookeeper符合了这个法则的哪两个特性？（扩展）–选举机制半数机制：2n+1，安装奇数台10台服务器：3台20台服务器：5台100台服务器：11台台数多，好处：提高可靠性；坏处：影响通信延时选举具体细节如下：  1、
Nien_Ling·2020-06-20 15:42

大数据面试题总结

1.大数据技术1.1描述一下checkpoint的流程？Checkpoint其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照），这个时间点应该是所有任务都恰好处理完一个相同的输入数据的时候。1.2描述一下两阶段提交？对于每个checkpoint，sink任务会启动一个事务，并将接下来所有接收的数据添加到事务里，然后将这些数据（流式的）写入外部sink系统，但不提交他们--这时只是预提交（一
ch123·2020-05-29 07:34

大数据面试题搜集_hive相关

1.去重问题groupby/distinct/row_number/自定义函数2.row_numberrankdense_rank3.hive的UDF函数如何自定义和使用4.hive优化(1)从表设计考虑优化1、合理利用中间结果集，降低Hadoop的IO负载；2、合理设计表分区，包括静态分区和动态分区；3、尽量不使用复杂或低效函数，比如count(distinct)，可以使用其他方式实现；4、选择
dullwoodknife·2020-05-27 23:18

大数据面试-hadoop(1)

目录请列出hadoop的进程名称HDFS读写数据的过程1.简单概述hdfs原理，以及各个模块的职责2.mr的工作原理yarn流程3.fsimage和edit的区别4.谈谈数据倾斜，如何发生的，并给出优化方案5.简单概括安装hadoop的步骤6.简单概述hadoop中的角色的分配以及功能7.简单概述hadoop的join的方法8.简单概述hadoop的combinet与partition的区别9.h
Movle·2020-04-05 11:07

大数据面试问题

spark工作原理spark运行原理SparkStreamingStorm的ack是干嘛的kalfka干嘛的job提交到yarn上的工作流程10x+5y+z=n，x+y+z的最小值ArryList、LinkedList、vector的区别hashMapHashTable的区别垃圾回收机制JVM的工作原理Hbase的垃圾回收工具for循环LinkedList遍历HashMap的并且把某一个值删除线程
Albert陈凯·2020-03-17 12:37

大数据面试题、经验分享及新手问答整理

原文地址：http://www.aboutyun.com/thread-9581-1-1.html**笔试类型：**1、java基础类：2、linux基础：**面试问答：**1、讲项目经验：问的很细，给纸，笔，让画公司hadoop的项目架构,说几条业务数据，然后经过平台后，出来成什么样子；2、java方面：io输入输出流里有哪些常用的类，还有webService,线程相关的知识；3、linux：问
Albert陈凯·2020-03-02 03:46

大数据面试 | 06 我看了10篇文章，总结出的Hadoop小文件最全学习攻略

1.什么是小文件小文件的定义和hadoop中定义的block大小有关，这里把所有远远小于hadoopblock大小的文件称为小文件。hadoopblock块大小通常设置为128MB、256MB，趋向于越来越大。这里假定如果文件大小是小于blocksize的75%，则定义为小文件。但小文件不仅是指文件比较小，如果Hadoop集群中的大量文件略大于blocksize，同样也会存在小文件问题。比如，假设
彬彬有李学数据·2020-02-29 02:32

大数据面试 | 02 HDFS难点---HDFS 联邦和HDFS HA

目录HDFSFHDFSHA为了解决HDFS1.0中单点故障问题和内存受问题。提出了HDFSHA和HDFSF。解决单点故障问题：HDFSHA：通过NameNode解决如果NameNode发生故障，就切换到备用NameNode解决内存受限问题：HDFSFederation水平扩展，支持多个NameNode所有的NameNode共享所有的DataNode存储资源每一个NameNode分管一部分目录1.H
彬彬有李学数据·2020-02-28 00:22

大数据面试 | 01 HDFS面试热点--HDFS 架构及读写流程

文章目录HDFS简介以及架构设计详解SecondaryNameNodeHDFS小文件危害以及解决方案HDFS读流程HDFS写流程1.HDFS架构设计HDFS架构设计.pngNameNode(元数据节点):管理文件系统的命名空间设置副本策略管理数据块的映射信息处理客户端的c读写请求***DataNode(数据节点):DataNode是真正存储数据的地方。Client或者NameNode可以向Data
彬彬有李学数据·2020-02-28 00:08

大数据面试题

一.简述如何安装配置apache的一个开源的hadoop1.使用root账户登陆2.修改ip3.修改host主机名4.配置ssh免密登陆5.关闭防火墙6.安装ＪＤＫ7.解压hadoop安装包8.配置hadoop的核心配置文件hadoop-env.shcore-site.xmlmapred-site.xmlyarn-site.xmlhdfs-site.xml9.配置hadoop的环境变量10.格式化
祎休·2020-02-23 14:46

站在大数据风口，零基础也能拿下HCIE！誉天大数据学员教你击破之法

今天终于等到了大数据面试通过的邮件，想起半年前迷茫的自己，到如今收获了一张属于自己的证书，不禁感慨万千。我是一名在校研究生，研究方向是大数据分析。一开始自学相关知识，觉得一头雾水，不知从何下手。
誉天education·2020-02-15 18:54

誉天大数据学员教你HCIE认证击破之法

今天终于等到了大数据面试通过的邮件，想起半年前迷茫的自己，到如今收获了一张属于自己的大数据HCIE认证证书，不禁感慨万千。我是一名在校研究生，研究方向是大数据分析。
誉天长沙华为认证培训·2020-02-12 18:46

来自一位大数据面试官的感想

时间是不可逆的，我们不可能经历之后，然后再返回来修正自己过去的行为，但是我们可以通过观察不同时间段的相同职业人的现状来修正自己。最近一段时间，浪尖忙于招人面试，在面试别人的过程中收获了很多，我相信被我面试的人也会收获很多。面试者的工作经验有十年以上的，有五六年，还有两三年的，每个年龄段都有自己的优点和缺点（这是句废话，每个人都是优缺点参半，实际上强调的是技术实力的优缺点），在这里，其实我想表达的事
你的社交帐号昵·2020-02-11 16:58

大数据面试题(一)----HADOOP 面试题

1.下列哪项通常是集群的最主要瓶颈（C）A.CPUB.网络C.磁盘IOD.内存2.下列哪项可以作为集群的管理工具？（C）A.PuppetB.PdshC.ClouderaManagerD.Zookeeper3.下列哪个是Hadoop运行的模式？（ABC）A.单机版B.伪分布式C.完全分布式4.列举几个hadoop生态圈的组件并做简要描述Zookeeper:是一个开源的分布式应用程序协调服务,基于zo
暮光倾城·2020-02-05 16:00

【大数据面试宝典】 第一篇 Hadoop 面试题

Hadoop常见的端口Hadoop生态圈Hadoop配置文件以及简单的Hadoop集群搭建Hadoop参数调优项目经验之基准测试Hadoop宕机Hadoop高可用配置Hadoop常见的端口dfs.namenode.http-address:50070dfs.datanode.http-address:50075SecondaryNameNode辅助名称节点端口号：50090dfs.data
IT猿看视界·2020-01-08 17:00

【大数据面试宝典】 第二篇 HDFS 面试题

HDFS写文件网络拓扑-节点距离计算HDFS读流程NN和2NN工作机制Fsimage和Edits解析CheckPoint时间设置NameNode故障后的数据恢复HDFS数据流HDFS写文件1）客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。2）NameNode返回是否可以上传。3）客户端请求第一个Blo
IT猿看视界·2020-01-08 17:00

117道有关大数据面试题解析，希望对你有所帮助

一.简述如何安装配置apache的一个开源的hadoop1.使用root账户登陆2.修改ip3.修改host主机名4.配置ssh免密登陆5.关闭防火墙6.安装ＪＤＫ7.解压hadoop安装包8.配置hadoop的核心配置文件hadoop-env.sh?core-site.xml?mapred-site.xmlyarn-site.xmlhdfs-site.xml9.配置hadoop的环境变量10.格
栀子花_ef39·2020-01-07 21:40

大数据面试题(七)----Flume面试题

大数据面试宝典目录,请点击目录1.Flume使用场景（☆☆☆☆☆）2.Flume丢包问题（☆☆☆☆☆）3.Flume与Kafka的选取1.Flume使用场景（☆☆☆☆☆）线上数据一般主要是落地（存储到磁盘
北京小辉·2020-01-06 21:03

大数据面试题(六)----HBASE 面试题

大数据面试宝典目录,请点击目录1.HBase的特点是什么？2.HBase和Hive的区别？3.描述HBase的rowKey的设计原则？4.描述HBase中scan和get的功能以及实现的异同？
北京小辉·2020-01-06 21:54

大数据面试题(二)----HDFS面试题

大数据面试宝典目录,请点击HDFS面试题目录1.HDFS中的block默认保存几份？2.HDFS默认BlockSize3.Client端上传文件的时候下列哪项正确4.下面哪个程序负责HDFS数据存储？
北京小辉·2020-01-06 19:42

大数据面试题(三)----MapReduce面试题

大数据面试宝典目录,请点击MapReduce面试题谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化?
北京小辉·2020-01-06 19:43

大数据面试题(一)----HADOOP 面试题

大数据面试宝典目录,请点击HADOOP面试题目录1.下列哪项通常是集群的最主要瓶颈2.下列哪项可以作为集群的管理工具？3.下列哪个是Hadoop运行的模式？
北京小辉·2020-01-06 15:47

Java大数据面试常见问题

Java大数据面试常见问题1.String和StringBuffer的区别JAVA平台提供了两个类:String和StringBuffer，它们可以储存和操作字符串，即包含多个字符的字符数据这个String
北京大数据苏焕之·2020-01-05 10:17

出一套高端大数据开发面试题

一千个读者眼中有一千个哈姆雷特，一千名大数据程序员心目中就有一千套大数据面试题。本文就是笔者认为可以用来面试大数据程序员的面试题。
风火数据·2020-01-05 09:47
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他