大数据面试题

网易大数据面试题试解

上周无意中看到了一份网易的面试题，说明为大数据部的面试题，粗略的看了一下，觉得挺有趣的，所以尝试着进行一下解答，首先要吐槽下，不知道这是什么级别岗位的题目，感觉有些不够专业，对大数据能力考察的题目几乎没有，大多是比较宽泛的问题，感觉各个岗位面试都可以问的那些问题。题目如下：笔试：1、甲和乙下棋，一局中甲获胜的概率为2/3，乙获胜的概率为1/3，一方比另一方多赢两局算赢，求甲获胜的概率？答：条件比较
With__Sunshine·2018-05-14 10:14

大数据面试题

hadoop面试100道收集（带答案）目录(?)[+]2HBase的RowKey设计21设计原则211Rowkey长度原则212Rowkey散列原则213Rowkey唯一原则22应用场景221针对事务数据Rowkey设计222针对统计数据的Rowkey设计223针对通用数据的Rowkey设计224支持多条件查询的RowKey设计建表创建简单表创建外部表建分区表建Bucket表创建表并创建索引字段d
With__Sunshine·2018-05-14 10:22

大数据面试题及答案 2018

1.java内存模型2.gc3.编译好的scala程序，运行时还需要scala环境吗Scala的代码执行是用REPL过程，ReadExecutePrintLoop4.object中有哪些方法5.监测集群中的cpu，内存使用情况？6、ArrayList中的Array长度超了是怎么增加的，一次增加多少？--------------------------------------------------
With__Sunshine·2018-05-14 10:44

大数据面试题集锦(三)

1.Spark使用parquet文件存储格式能带来哪些好处？1)如果说HDFS是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准2)速度更快：从使用sparksql操作普通文件CSV和parquet文件速度对比上看，绝大多数情况会比使用csv等普通文件速度提升10倍左右，在一些普通文件系统无法在spark上成功运行的情况下，使用parquet很多时候可
Zzreal·2018-05-10 22:46

java方向大数据面试题整理

1.String和StringBuffer的区别JAVA平台提供了两个类:String和StringBuffer，它们可以储存和操作字符串，即包含多个字符的字符数据这个String类提供了数值不可改变字符串而这个StringBuffer类提供的字符串进行修改当你知道字符数据要改变的时候你就可以使用StringBuffer典型地，你可以使用StringBuffers来动态构造字符数据2.说出Arra
qq_27087973·2018-05-08 16:47

某xxx公司大数据面试题

Java基础看过哪些jdk源码和常用的库用哪种Resultful风格多线程synchronized和lock的区别写哪些多线程的代码Jvm内存模型和垃圾回收机制classloader的功能和工作模式Hashmap原理Hashmap的扩容机制，currenthashmap原理A和B对象互相引用，是否垃圾回收String对象内存地址大数据技术Hbase二级索引Hbaserowkey设计Hbase列族怎
菜鸟级的IT之路·2018-05-05 19:22

30个常见的大数据面试题，让你的薪资提升一个等级，大家快来看看吧！

但这个收获不仅仅需要你学到娴熟的大数据技术，还需要在面试之前精心准备，了解自己要应聘的企业发展状况、自己应聘岗位的技术要求等等，除此之外，多看一些大数据面试题也是很有必要的，给自
琳达老师·2018-05-02 16:06

大数据面试题汇总(不断更新中)

结合自身面试经历，包括BAT、SF、中信等等公司所做的面试题汇总。主要包括以下几大类：一、spark相关1.Spark的Shuffle原理及调优？2.hadoop和spark使用场景？3.spark如何保证宕机迅速恢复?4.hadoop和spark的相同点和不同点？5.RDD持久化原理？6.checkpoint检查点机制？7.checkpoint和持久化机制的区别？8.SparkStreaming
飞魔006·2018-04-27 15:14

大数据面试题及答案-汇总版

大数据面试题及答案汇总版当前版本：Ver1.0制作单位：编写人员：审核人：签收人：签署日期：2017年05月22日版权所有翻印必究文档信息版本号1.0版本日期2017-05-22所有者作者修订记录日期描述作者版本号
行走的数据智能·2018-04-25 21:22

大数据面试题集锦(二)

1.cache后面能不能接其他算子,它是不是action操作？答：cache可以接其他算子，但是接了算子之后，起不到缓存应有的效果，因为会重新触发cache。cache不是action操作2.reduceByKey是不是action？答：不是，很多人都会以为是action，reduce rdd是action3.数据本地性是在哪个环节确定的？具体的task运行在那他机器上，dag划分stage的时候
Zzreal·2018-04-20 00:00

大数据面试题集锦(一)

1.Sparkmaster使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外继续提供服务，作业
Zzreal·2018-04-14 22:42

大数据面试题，99%会机率碰到的海量题

三月已过去5天了，现在全国各省正处于招聘的高峰期，面试者也越来越紧张，都希望有高人指点一二，倘若有面试题能提示一下，那面试能拿到offer的机会便大的多，下面就是一些常见的大数据面试题，希望能帮助你们一二
mkkm1314·2018-04-10 15:40

大数据面试题求解：给定n个实数 ，求着n个实数在实轴上向量2个数之间的最大差值，要求线性的时间算法(最大间隙问题)

最先想到的方法就是先对这n个数据进行排序，然后一遍扫描即可确定相邻的最大间隙。但该方法不能满足线性时间的要求。故采取如下方法：找到n个数据中最大和最小数据max和min。用n-2个点等分区间[min,max]，即将[min,max]等分为n-1个区间(前闭后开区间)，将这些区间看作桶，编号为i，且桶i的上界和桶i+1的下届相同，即每个桶的大小相同。实际上，这些桶的边界构成了一个等差数列(首项为mi
无名_1989·2018-04-02 08:36

大数据面试题

1.讲讲你做的过的项目。项目里有哪些难点重点注意点呢？2.讲讲多线程吧，要是你，你怎么实现一个线程池呢？为了节省系统在多线程并发情况下不断的创建新和销毁线程所带来的性能浪费，就需要引入线程池首先写个简单的线程池接口继承Runable,客户端可以通过execute(Job)方法将Job提交入线程池来执行，客户端完全不用等待Job的执行完成。除了execute(Job)方法以外，线程池接口提供了增加/
Going_sky·2018-03-12 00:12

大数据面试题知识点分析（八）

本篇博客列举几个笔试或面试常见的小案例，其实它们的解决方案很多都是类似的，主要考察的也是大数据技术处理数据的思想，下面让我们一起分析总结：1）海量日志数据，提取出某日访问百度次数最多的那个IP？算法思想：分而治之+Hash1.IP地址最多有2^32=4G种取值情况，所以不能完全加载到内存中处理；2.可以考虑采用“分而治之”的思想，按照IP地址的hash(ip)%1024,把海量IP日志分别存储到1
且听_风吟·2018-03-07 18:55

大数据面试题以及答案整理（二）

Redis性能优化，单机增加CPU核数是否会提高性能1、根据业务需要选择合适的数据类型，并为不同的应用场景设置相应的紧凑存储参数。2、当业务场景不需要数据持久化时，关闭所有的持久化方式可以获得最佳的性能以及最大的内存使用量。3、如果需要使用持久化，根据是否可以容忍重启丢失部分数据在快照方式与语句追加方式之间选择其一，不要使用虚拟内存以及diskstore方式。4、不要让你的Redis所在机器物理内
godblesspl·2018-03-01 22:29

大数据面试题及答案 2018

1.java内存模型2.gc3.编译好的scala程序，运行时还需要scala环境吗Scala的代码执行是用REPL过程，ReadExecutePrintLoop4.object中有哪些方法5.监测集群中的cpu，内存使用情况？6、ArrayList中的Array长度超了是怎么增加的，一次增加多少？--------------------------------------------------
qianfeng_dashuju·2018-02-28 17:21

大数据面试题之Hadoop集群搭建步骤

一、打开需要搭建Hadoop集群的主从节点服务器，配置好静态IP、主机名hostname、主机IP映射文件hosts、关掉防火墙二、通过远程登录工具（我用的是SecureSRT）登录到Linux系统，登录前需要在Windows系统中C:\Windows\System32\drivers\etc目录下的hosts中配置好Linux系统的ip地址和主机名，要不然远程登录工具无法连接到Linux系统三、
昨天感冒了·2018-02-27 23:45

大数据面试题以及答案整理（一）

kafka的message包括哪些信息一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果magic的
godblesspl·2018-02-27 00:00

大数据面试题

1.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?假如每个url大小为10bytes，那么可以估计每个文件的大小为50G×64=320G，远远大于内存限制的4G，所以不可能将其完全加载到内存中处理，可以采用分治的思想来解决。Step1：遍历文件a，对每个url求取hash(url)%1000，然后根据所取得的值将url分别存储到1
csuwubing·2018-02-01 17:16

大数据面试题总结（附答案）

文章目录前言hadoop相关试题Hive相关试题Hbase相关试题Storm相关试题Spark相关试题Java基础试题其他前言最近由于要准备面试就开始提早看些面试、笔试题。以下是自己总结的一些经常出现、有价值的试题，包含hadoop、hive、hbase、storm、spark等。答案仅供参考，如有错误，请指出。试题不定时更新。hadoop相关试题MapTask并行机度是由什么决定的？由切片数量决
春雨里de太阳·2018-01-02 15:27

大数据面试题及答案-汇总版

大数据面试题及答案汇总版当前版本：Ver1.0制作单位：编写人员：审核人：签收人：签署日期：2017年05月22日版权所有翻印必究文档信息版本号1.0版本日期2017-05-22所有者作者修订记录日期描述作者版本号
风远陌·2017-11-02 14:57

2017大数据面试题及答案

2017年有不少大数据学员学成准备参加工作，在参加工作前最重要的一轮就是大数据的面试，小编收集了一些2017大数据面试题及答案，希望可以帮到准备或者正在参加大数据面试的朋友们。
扣丁学堂·2017-09-21 16:15

网易大数据面试题试解

上周无意中看到了一份网易的面试题，说明为大数据部的面试题，粗略的看了一下，觉得挺有趣的，所以尝试着进行一下解答，首先要吐槽下，不知道这是什么级别岗位的题目，感觉有些不够专业，对大数据能力考察的题目几乎没有，大多是比较宽泛的问题，感觉各个岗位面试都可以问的那些问题。题目如下：笔试：1、甲和乙下棋，一局中甲获胜的概率为2/3，乙获胜的概率为1/3，一方比另一方多赢两局算赢，求甲获胜的概率？答：条件比较
CoolTotoro·2017-05-29 20:55

15道大数据面试题

1、你处理过的最大的数据量?你是如何处理他们的?处理的结果。2、告诉我二个分析或者计算机科学相关项目?你是如何对其结果进行衡量的?3、什么是：提升值、关键绩效指标、强壮性、模型按合度、实验设计、2/8原则?4、什么是：协同过滤、n-grams,mapreduce、余弦距离?5、如何让一个网络爬虫速度更快、抽取更好的信息以及更好总结数据从而得到一干净的数据库?6、如何设计一个解决抄袭的方案?7、如何
dajiangtai20·2016-12-20 13:49

大数据面试题分析

最近学习了hashtable的一点知识，发现可以用来解决大数据的一些问题。我们这里讲的大数据分析事实上并不是分布式和数据挖掘这些高深的概念，而是针对从从一个大文件或者一堆数据（内存放不下）中找出具有某种特点的数，这也是近年来各大公司经常考的问题。面试题1：给一个超过100G大小的logfile,log中存着IP地址,设计算法找到出现次数最多的IP地址？解析：100G的文件给我们的感觉是太大，我们的
Redmoon955331·2016-11-12 14:21

大数据面试题

1.列举spark比hadoop快的原因，以及现在存在的主要问题2.描述下使用sparkstreaming和GraphX实现实时计算的可行性，以及可能会遇到的问题3.GraphX的PregelAPI只支持有向图遍历，如何实现无xiang遍历，描述思路4.SPark通过yarn提交任务时，yarn-client&yarn-cluster的区别5.Spark什么时候需要切断lineage，如何实现，有
秉寒CHO·2016-10-15 13:56

大数据面试题

BigData面试题总结JAVA相关1-1）List与set的区别？老掉牙的问题了，还在这里老生常谈：List特点：元素有放入顺序，元素可重复，Set特点：元素无放入顺序，元素不可重复。1-2）数据库的三大范式？原子性、一致性、唯一性1-3）java的io类的图解1-4）对象与引用对象的区别对象就是好没有初始化的对象，引用对象即使对这个对象进行了初始化，这个初始化可以使自己的直接new的也可以是直
小徐xfg·2016-09-12 16:19

hadoop、大数据面试题（11） 比较好

1、hdfs原理，以及各个模块的职责2、mr的工作原理3、map方法是如何调用reduce方法的4、shell如何判断文件是否存在，如果不存在该如何处理？5、fsimage和edit的区别？6、hadoop1和hadoop2的区别？笔试：1、hdfs中的block默认保存几份？2、哪个程序通常与nn在一个节点启动？并做分析3、列举几个配置文件优化？4、写出你对zookeeper的理解5、datan
孟德新书·2016-06-20 10:33

大数据面试题分享

1.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式2.  单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。3.  伪分布模式中的注意点？伪分布式（Pseudo）适用于开发和测试环境，在这
AnneQiQi·2016-05-30 14:21

大数据面试题

1、给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？1)   可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。2)   遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的大约为300M。3
Yan456jie·2016-04-12 17:00

几道大数据面试题

首先处理大数据的面试题，有些基本概念要清楚：（1）1Gb=109bytes（1Gb=10亿字节）：1Gb=1024Mb，1Mb=1024Kb，1Kb=1024bytes；（2）基本流程是，分解大问题，解决小问题，从局部最优中选择全局最优；（当然，如果直接放内存里就能解决的话，那就直接想办法求解，不需要分解了。）（3）分解过程常用方法：hash(x)%m。其中x为字符串/url/ip，m为小问题的数
ZH奶酪·2016-03-16 14:00

大数据面试题

本文为转的，怕忘记了还有：http://blog.csdn.net/ycl1989y/article/details/7796250http://blog.csdn.net/wchyumo2009/article/details/8738639第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文
u014403897·2015-04-23 11:00

hadoop、大数据面试题

1、hdfs原理，以及各个模块的职责2、mr的工作原理3、map方法是如何调用reduce方法的4、shell如何判断文件是否存在，如果不存在该如何处理？5、fsimage和edit的区别？6、hadoop1和hadoop2的区别？笔试：1、hdfs中的block默认保存几份？2、哪个程序通常与nn在一个节点启动？并做分析3、列举几个配置文件优化？4、写出你对zookeeper的理解5、datan
奋斗的鱼·2014-09-17 11:21

大数据面试题记录

1海量日志数据，提取出某日访问百度次数最多的那个IP解法1：（1）海量日志，文件太大，IP地址最多有2^32=4G，无法装入内存，，将这个大文件（hash映射：可以取模%1000）分成多个小文件（如1000）。（2）对每个小文件进行hash统计，hash_map(ip,value),得到每个文件出现频率最多的ip（3）将这些频率最高的ip进行统计，然后排序得出最大值，这里可以采用堆/快速/归并，但
xlf13872135090·2014-08-25 11:00

Shell在大数据时代的魅力：从一道百度大数据面试题想到的点滴

对于在Linux下开发的同学来说，Shell可以说是一种基本功。对于运维的同学来说，Shell可以说是一种必备的技能，而且应该要非常熟练的书写Shell。对于ReleaseTeam，软件配置管理的同学来说，Shell也起到了非常重要的作用。尤其是分布式系统发展的如火如荼，很多开源项目都开展的如火如荼（好像不是分布式的系统都不好意思拿出来说事）。分布式系统的配置，管理，Shell也起到了非常重要的作
anzhsoft2008·2014-07-17 00:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他