大数据技术高频面试题汇总

 一、Hadoop

1、Hadoop相关问题汇总

  1. Hadoop默认不支持LZO压缩,如果需要支持LZO压缩,需要添加jar包,并在hadoop的cores-site.xml文件中添加相关压缩配置;
  2. Hadoop常用端口号;
  3. Hadoop配置文件以及简单的Hadoop集群搭建;
  4. HDFS读流程和写流程;
  5. MapReduce的Shuffle过程及Hadoop优化(包括:压缩、小文件、集群优化);
  6. Yarn的Job提交流程;
  7. Yarn的默认调度器、调度器分类、以及他们之间的区别;
  8. HDFS存储多目录;
  9. Hadoop参数调优;
  10. 项目经验之基准测试;

2、Hadoop常用端口号

hadoop2.x

你可能感兴趣的:(Hadoop,Hive,Spark,大数据安全,面试,职场和发展)