大数据面试

大数据面试3分钟自我介绍_大数据开发工程师面试主要面试内容

大数据近年来，发展如火如荼，很多人都选择学习大数据专业或者转行大数据，大数据里又包含很多就业岗位，那么，我们在面试大数据开发工程师时，需要面试哪些内容呢。一起来看看！首先，不同岗位、不同公司、不同面试官问的内容是不一样的。大数据开发包括Hadoop(ETL，Mapreduce)，Spark(SparkSql和SparkStreaming)，Python等，这是偏向技术。另外大数据开发看是否偏向数仓
诗和远方越远越脏·2020-12-31 12:27

大数据面试题带答案

版本更新时间更新内容v1.02020-07-01新建v1.12020-07-18朋友面试大数据工程师提供的关于架构及数仓方面的题目(智云健康)v1.22020-08-08朋友面试数据专家提供的数据驱动，spark及flink方面面试题(华为，阿里，小影，拼便宜)v1.32020-08-22朋友面试数据开发提供的关于hive及数仓方面的题目(美团)v1.42020-09-06老徐提供蚂蚁阿里微店面试
小蜗牛666·2020-12-23 17:58

全面认识当前市面99%的大数据技术框架（附:各大厂大数据技术应用文章）

目录全面大数据面试题大数据领域分析系统平台集群管理与监控文件系统资源调度协调框架数据存储数据处理数据查询和分析数据收集消息系统任务调度数据治理数据可视化云平台大数据必知点大厂应用实践全面大数据面试题2020
菜鸟也学大数据·2020-12-20 18:58

【6w字干货】2020大数据面试题真题总结(附答案)

版本更新时间更新内容v1.02020-07-01新建v1.12020-07-18朋友面试大数据工程师提供的关于架构及数仓方面的题目(智云健康)v1.22020-08-08朋友面试数据专家提供的数据驱动，spark及flink方面面试题(华为，阿里，小影，拼便宜)v1.32020-08-22朋友面试数据开发提供的关于hive及数仓方面的题目(美团)v1.42020-09-06老徐提供蚂蚁阿里微店面试
简说Python·2020-11-21 19:35

sql怎么实现取当前数据以及累计7天数据_年薪60万+大佬吐血整理字节跳动大数据面试真题...

字节的面试难度一直很高，所以一直是我想攻克的目标，定下这个目标后就去准备收集了几十个字节实际面经，还包括面试前都需要做哪些准备。只能说是工欲善其事必先利其器，经过这些周全的准备，最终的面试还是很顺利的。感谢为我提供以下这些面经的“大数据那些事”公众号的朋友们，现在把我整理的面试经验分享出来，也是希望能帮助到更多朋友，不只是面字节，把下边的内容都搞定的话，其他大厂也不成问题。01PART字节跳动面试
weixin_39943992·2020-11-21 02:39

2020大数据面试题真题总结(附答案)

版本更新时间更新内容v1.02020-07-01新建v1.12020-07-18朋友面试大数据工程师提供的关于架构及数仓方面的题目(智云健康)v1.22020-08-08朋友面试数据专家提供的数据驱动，spark及flink方面面试题(华为，阿里，小影，拼便宜)v1.32020-08-22朋友面试数据开发提供的关于hive及数仓方面的题目(美团)v1.42020-09-06老徐提供蚂蚁阿里微店面试
无精疯·2020-11-18 11:00

大数据面试题题目2020年底总结（一）

大数据面试题集锦（一）1.javaJVM内存结构栈堆方法区程序计数器JVM内存回收机制哪些需要回收判断算法引用计数法每个对象创建的时候，会分配一个引用计数器，当这个对象被引用的时候计数器就加1，当不被引用或者引用失效的时候计数器就会减
闻香识代码·2020-11-05 21:03

2020 秋招 阿里巴巴大数据面试 带答案！

猫场面试题第1套以下为我为大家整理的猫场面试题第一套，均为笔者自己参加面试或者一些读者分享给我的题目，保证真实和准确性。阿里巴巴1框架部分1.1Spark提交job流程所谓提交流程，其实就是我们开发人员根据需求写的应用程序通过Spark客户端提交给Spark运行环境执行计算的流程。在不同的部署环境中，这个提交过程基本相同，但又有细微的区别。Spark提交作业在国内的工作环境中，将Spark引用部署
dyzcs·2020-10-12 21:49

宝兰德大数据面试题

宝兰德答题须知：1、笔试时间为30分钟；2、请保持试题整洁，将答案写到答题纸上；3、笔试题目请独立完成，不要使用任何参考书，不要请其他人协助完成；4、答题完成后，请将答题纸和试卷本身均交给工作人员。一单选题（每题3分）1、下面代码的运行结果是（）publicclassTest{ Lista=null;test(a);System.out.println(a.size());} publicstat
美食江湖·2020-10-10 09:27

大数据学习总结+JAVA学习总结+大数据面试+java面试+大数据java异常总结

文章目录一、java模块面试问题1.动态代理2.浏览器禁用Cookie后的Session处理3.主从复制的流程[重要]5.redis的数据类型[重要]6.Junit测试的注解7、缓存问题二、项目中java模块的难点异常[重要]1.MultipartiFile图片从前台用Restfull到后台问题2.批量删除参数问题3.前台后台的请求方式post,get,del4.后台给页面响应string(返回值
悬鞀设鐸·2020-09-28 13:41

大数据面试题

1、你处理过的最大的数据量？你是如何处理他们的？处理的结果。2、告诉我二个分析或者计算机科学相关项目？你是如何对其结果进行衡量的？3、什么是：提升值、关键绩效指标、强壮性、模型按合度、实验设计、2/8原则？4、什么是：协同过滤、n-grams,mapreduce、余弦距离？5、如何让一个网络爬虫速度更快、抽取更好的信息以及更好总结数据从而得到一干净的数据库？6、如何设计一个解决抄袭的方案？7、如何
anningzhu·2020-09-17 11:45

Hive经典面试题——级联求和（访客访问统计报表）

在大数据面试中，Hive知识的考察大部分会问级联求和，业务场景虽然有很多种，比如说，年收入，月收入统计；访客访问次数年统计，月统计。等等。但是基本根源知识是级联求和，本文就以访客访问统计为例。
chun_soft·2020-09-17 02:52

小白转行大数据的思考

背景通过大数据面试经验总结这篇文章遇到很多朋友都开始考虑大数据这一行，可各有不同的困惑，例如：过去专业跟计算机不沾边，觉得现有行业待遇太一般，希望换个前景好的行业，但转行挑战太大，担心不能实现。
xwc35047·2020-09-17 02:19

大数据面试题

卡夫卡的消息包括哪些信息一个卡夫卡的消息由一个固定长度的报头和一个变长的消息体体组成标题部分由一个字节的魔法（文件格式）和四个字节的CRC32（用于判断身体消息体是否正常）构成。当魔术的值为1的时候，会在魔术和CRC32之间多一个字节的数据：属性（保存一些相关属性，比如是否压缩，压缩格式等等）;如果魔术的值为0时，那么不存在属性属性文教释义体育的英文由ñ个字节构成的一个消息体，包含了具体的键/值消
TGHLB·2020-09-16 13:17

大数据面试题及答案

Hadoop相关试题Hive相关试题1、hive表关联查询，如何解决数据倾斜的问题?倾斜原因：map输出数据按keyHash的分配到reduce中，由于key分布不均匀、业务数据本身的特点、建表时考虑不周、等原因造成的reduce上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，
欧阳子卿·2020-09-16 07:35

117道有关大数据面试题解析 希望对你有所帮助

一.简述如何安装配置apache的一个开源的hadoop1.使用root账户登陆2.修改ip3.修改host主机名4.配置ssh免密登陆5.关闭防火墙6.安装ＪＤＫ7.解压hadoop安装包8.配置hadoop的核心配置文件hadoop-env.sh?core-site.xml?mapred-site.xmlyarn-site.xmlhdfs-site.xml9.配置hadoop的环境变量10.格
Java架构没有996·2020-09-15 12:27

Hadoop之HDFS常见面试题

大数据面试题+一：HDFS面试题1．HDFS的写流程1）客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
不言尘世·2020-09-14 12:19

大数据面试题

一、hadoop（1）、概念题1、简述hadoop生态组件2、mapreduce原理3、对mapreduce的了解4、hadoop任务调度，进程调度5、mapReduce的过程6、hadoop的事务怎么操作7、请描述HDFS存储的机制8、请详细比较Hadoop和传统SQL数据库9、请用MapReduce如何实现两张表连接，有哪些方法10、请描述MapReduce架构中combiner,partit
流云先生·2020-09-13 00:22

大数据经典面试问题总结

大数据面试题关键点1.Hash函数2.Map_reduce3.bit_Map4.桶排序5.一致性哈希算法理解上述几点就可以掌握大数据算法第一步，先对文本做预处理map阶段reduce阶段思路类似于桶排序桶排序
wwxy261·2020-09-11 18:56

小麦公社大数据面试题

小麦公社面试题（1）Scala中协变逆变的应用场景。（2）Spark中隐式转化的应用场景（3）Spark中基于standalone还是Yarn？计算引擎是什么？（4）Jdk1.7hashmap怎么设计的，为什么引入红黑树？链表的查找方式和红黑树的查找方式有什么不同？（5）Java并发安全是怎么理解的？（6）Map和FlatMap区别对结果集的影响有什么不同（7）对RDD的理解（8）Transfor
美食江湖·2020-09-11 12:16

2019大数据面试题（BAT）

1、kafka的message包括哪些信息一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果magi
weixin_38747592·2020-09-10 20:23

大数据面试题之葵花宝典------Flink初级

葵花宝典------Flink初级1、简单介绍一下Flink2、Flink相比传统的SparkStreaming区别?3、Flink的组件栈有哪些？4、Flink的运行必须依赖Hadoop组件吗？5、你们的Flink集群规模多大？6、Flink的基础编程模型了解吗？7、Flink集群有哪些角色？各自有什么作用？8、说说Flink资源管理中TaskSlot的概念9、说说Flink的常用算子？10、说
海鸥~·2020-09-07 21:32

10分钟，获取了面试官芳心的真实大数据面试过程，我到底做了什么？

10分钟，面试官就怦然心动的真实大数据面试过程，我到底做了什么？
豆浆~油条·2020-09-06 23:37

大数据面试总结-ysjt

1、前言工作了太安逸，没有准备好。还是挺喜欢这家公司。业务上的问题我就不放出来了。技术的问题我就凭自己的记忆写一写，以此来帮助大家和自己更好的面试。面试过程中问了很多Kafka的问题。自己没有回答出来的，我将会百度贴出来。也欢迎大家指点错误。祝大家和自己找到满意的工作！2、问题2.1hadoop的MR的过程分为六个阶段。阶段1、逻辑切片：inputSplit进行标准分割，默认片的大小和块的大小一样
Ayub·2020-08-26 09:52

【大数据面经-Hadoop-1】详细分析hdfs读写流程阐述hadoop读写流程

目录读流程写流程在大数据面试过程中hadoop的namenode读写流程是经常会问到的问题读流程访问namenode，告知要访问的文件hdfs对client做身份信息验证，认证的方式有两种，一种是通过信任的客户端
踩大侠·2020-08-24 14:30

java大数据面试总结

Java部分1.常用的缓存技术？？集合和缓存池技术；（java集合的高级用法，缓存池技术能够写出相应的代码，创建连接池）2.java常用的设计模式，你用到的有哪些？？单例模式、工厂模式、动态代理模式；3.java常用的代码优化技术有哪些？IO操作与内存操作分离；4.复杂的sql语法运算事务、存储过程、索引技术大数据部分3.大数据技术？（重点）hadoop技术和storm技术；Hadoop生态圈（M
fct2001140269·2020-08-24 08:41

大数据面试集锦---Hadoop篇

新手大数据开发一枚，之前也做了一些MR、Spark、Storm的项目，但是有些框架本身的东西还不是很懂，毕业季找工作，就顺手整理一些东西。希望在这个过程中能把只是融会贯通。不会很细的去面面俱到的写框架，只会写一写自己遇到的问题。HDFS的设计思想(1)一次写入，多次读取(2)hdfs是对搞数据吞吐量优化的，以提高时间延时为代价(3)namenode存储着文件系统的元数据(每个目录、每个文件和数据块
向阳争渡·2020-08-24 05:17

超全面的大数据面试题，一道比一道难，快来挑战一下吧

【过往记忆大数据】已开通技术交流及招聘求职内推群，加微信号fangzhen0219为好友后入群。本文全文篇幅1万字左右，从数据结构到Java再到大数据都有整理，可以先收藏起来，查漏补缺。Java基础1、Queue和Stack你平时有用过么，说说你常用的方法，他们的区别在哪呢？2、了解java的异常吗，有什么区别，常见的异常有哪些呢？3、两个字面值相同的Integer，它们两个用等于号去比较，结果是
过往记忆·2020-08-23 07:26

大数据面试总结（一）

1.列式存储和行式存储的区别，各自的优点是什么？答：传统的行存储在没有列索引的情况下，会把一行全部查出来，查询会使用大量IO，适合针对行操作。列式存储：每一列单独存放，数据即是索引。2.RDD是什么？再说说RDDdataframedataset的区别答：官方介绍，是弹性分布式数据集。RDD是只读的、分区记录的集合。概念不是很重要，但是要理解RDD的三个特性，即分区，不可变，并行操作。RDD是分布式
geekingLi·2020-08-22 22:29

大数据面试题——如何从大量数据中找出高频词

问题描述：有一个1GB大小的文件，文件里面每一行是一个词，每个词的大小不超过16B，内存大小限制为1MB，要求返回频数最高的100个词。分析：由于文件大小为1GB，而内存的大小只有1MB，因此不能一次把所有的词读入到内存中去处理，可以采用分治的方法进行处理：把一个文件分解为多个小的子文件，从而保证每个文件的大小都小于1MB，进而可以直接被读取到内存中处理。解题思路：1、遍历文件，对遍历到的每一个词
weixin_30736301·2020-08-22 03:49

算法系列-大数据面试题-大文件中返回频数最高的100个词

1.题目描述有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M，要求返回频数最高的100个词2.思考过程（1）参见我的其他大数据面试题博文。
五癫·2020-08-22 00:08

大数据面试系列之——Zookeeper

1.简单介绍下ZookeeperZooKeeper是一个开放源码的分布式协调服务，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。Zookeeper
潜心_守道·2020-08-21 18:08

大数据面试

适合应届生的大数据面试题一、java基础1、Queue（队列）和Stack（栈）你平时有用过么，说说你常用的方法，他们的区别在哪呢？2、了解java的异常吗，有什么区别，常见的异常有哪些呢？
走不到尽头的程序员·2020-08-21 14:37

【大数据面试】MapReduce工作过程

hdfs面试题MapReduce面试题hive面试题kafka面试题hbase面试题spark面试题flume面试题参考链接：HTTPS://BLOG.CSDN.NET/QQ_25843323/ARTICLE/DETAILS/80020566HTTPS://ZHUANLAN.ZHIHU.COM/P/62249397HTTPS://BLOG.CSDN.NET/OLD_SIX_LAOBADAOLA/A
LaZY_apple·2020-08-21 06:04

互联网公司大数据面试题

互联网公司大数据面试题参考指南以下面试题都是群里小伙伴提供的，现场真题(包含校招题)1.网易大数据面试题说说项目Spark哪部分用得好，如何调优Java哪部分了解比较好聊聊并发，并发实现方法，volatile
章然同学·2020-08-21 06:19

大数据面试题

1.hbase数据的读取流程Rowkey读取为例，跟写流程一样，先跟Zookeeper进行连接，通过访问MetaRegionserver节点信息，HBase的meta表缓存到本地，获取要访问的表的Region的信息。当Client知道要访问的表在哪个Regionserver之后，Client就对那个Regionserver发起读请求。Regionserver接收该读请求之后，经过复杂的处理之后，就
婲落ヽ紅顏誶·2020-08-21 05:31

大数据面试（MapReduce）

第5章MapReDuce5.1数据倾斜的原因：key分布不均匀业务数据本身的欠缺性建表设计方法不对有些SQL难免会有一下数据倾斜不可避免表现的形式：任务完成进度卡死在99%，或者进度完成度在100%但是查看任务监控，发现还是有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。最长时长远大
学好每一天技术·2020-08-21 04:38

大数据面试简答题(二) - MapReduce

文章目录1.MapReduce的核心思想是什么?2.什么是偏移量?3.shuffle包含哪些步骤?1.partition分区2.Sort排序默认(字典序)3.combiner(可选,局部聚合)4.Group(合并)4.MR从读取数据开始到将最终结果写入HDFS经过了哪些步骤?5.如何设置ReduceTask的数量6.combiner的作用7.combiner运行在MapReduce的哪一端?8.M
红尘丶世界·2020-08-21 03:53

大数据面试题总结

1.大数据技术1.1描述一下checkpoint的流程？Checkpoint其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照），这个时间点应该是所有任务都恰好处理完一个相同的输入数据的时候。1.2描述一下两阶段提交？对于每个checkpoint，sink任务会启动一个事务，并将接下来所有接收的数据添加到事务里，然后将这些数据（流式的）写入外部sink系统，但不提交他们--这时只是预提交（一
ch123·2020-08-20 17:41

大数据面试题总结

1.大数据技术1.1描述一下checkpoint的流程？Checkpoint其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照），这个时间点应该是所有任务都恰好处理完一个相同的输入数据的时候。1.2描述一下两阶段提交？对于每个checkpoint，sink任务会启动一个事务，并将接下来所有接收的数据添加到事务里，然后将这些数据（流式的）写入外部sink系统，但不提交他们--这时只是预提交（一
ch123·2020-08-20 17:41

【大数据面试常问问题】----Hive表关联，数据倾斜问题解决?

数据倾斜原因:Map端输出数据按照keyhash分配到reduce中，数据分配不均匀。还可能是因为:建表不规范、业务本身的问题、Hql语句的问题都可能导致数据倾斜。解决方式:1.负载均衡设置两个参数sethive.map.aggr=trueMap端输出做一个局部聚合，相当于combinersethive.groupby.skewindata=true数据倾斜时，做负载均衡2.Hql调节join的时
c美食家·2020-08-18 10:06

精心整理的ebay大数据面试题(全)

前言学习群的几个小伙伴和我都有面试ebay大数据岗位的经历，而且也都拿了offer，我特意抽出了一些时间把问题和部分答案就行了汇总，希望对大家有帮助。全文篇幅1万字左右，从数据结构到Java再到大数据都有整理，可以先收藏起来，补缺补漏。ebay大数据组也持续招人，要投简历的可以把简历私发到我微信。小提示：绿色的题代表是简单的，黄色的题代表中等，红色代表有点难度；绿色题回答的很全面，很深入，则有可能
无精疯·2020-08-16 11:56

大数据面试之Hive

大数据面试之Hive1.Hive1.1Hive的架构模型？1.2Hive配置、启动和访问？1.3hive中存放的是什么？
小gu·2020-08-16 10:35

大数据面试题及答案下篇 03

–第二部分kafka,scala,sparkday01kafka1.和zk的关系元数据存放到zk(节点)中,应用了zk的统一命名的功能集群节点信息:brokerId每台机器的idtopic信息:在哪台机器上的哪个位置parititon主从信息:每个partition多个副本中,谁是老大partition_0有多个副本,需要选择出老大,应用了zk的分布式锁功能kafka没有单独的界面,zk,或者安装
啊策策·2020-08-15 16:31

大数据面试题演练

一面面试官人很nice，遇到不会的也会安慰我说没关系，上来先自我介绍，说下项目，说说对hadoop的理解，都有哪些组件，分别是干什么的还了解大数据其他组件嘛？这里我说了下kafka，然后巴拉巴拉，，，kafka在什么地方需要用到zookeeper了解HBase吗？说下spark中的transform和action为什么spark要把操作分为transform和actionspark中有了RDD，为
wwxy261·2020-08-15 04:24

大数据面试题之shell

shell面试题1、shell常用工具awk:文本处理工具sed:利用脚本来处理文本文件，是一款流编辑工具，用来对文本进行过滤和替换操作cut:选取工具，就是将一段数据经过分析，取出我们想要的数据sort：排序工具2、用shell写脚本1）集群启动脚本2）数仓与mysql的导入导出3）数仓层级内部的导入3、企业面试题（linux和shell）百度问题：Linux常用命令参考答案：find、df、t
2401号行者·2020-08-14 21:31

大数据面试题(五)----HIVE的调优及数据倾斜

一、hive表的优化1）小表、大表Join将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率；再进一步，可以使用Group让小的维度表（1000条以下的记录条数）先进内存。在map端完成reduce。实际测试发现：新版的hive已经对小表JOIN大表和大表JOIN小表进行了优化。小表放在左边和右边已经没有明显区别。案例实操（0）需求：测试大表JOIN小表和
北京小辉·2020-08-14 19:55

【面试】将 95% 求职者拒之门外的BAT大数据面试题-附解题方法（文末有福利）

写在前面最近不少读者找我要大数据面试题，我整理了很久，筛选出这10道容易出错的大数据面试题，希望对大家有所帮助。题目与解答整理自互联网，感谢分享这些面经的技术大牛们！
冰 河·2020-08-14 02:02

大数据面试题真题

目录一.Hadoop1.hdfs写流程2.hdfs读流程3.hdfs的体系结构4.一个datanode宕机,怎么一个流程恢复5.hadoop的namenode宕机,怎么解决6.namenode对元数据的管理7.元数据的checkpoint8.yarn资源调度流程9.hadoop中combiner和partition的作用10.用mapreduce怎么处理数据倾斜问题？11.shuffle阶段,你怎
复姓独孤·2020-08-12 13:29

大数据技术之_32_大数据面试题_01_Hive 基本面试 + Hive 数据分析面试 + Flume + Kafka 面试

大数据技术之_32_大数据面试题_01一、Hive基本面试1、什么是metastore2、metastore安装方式有什么区别3、什么是ManagedTable跟ExternalTable？
黑泽君·2020-08-12 13:58
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他