大数据工程师(存储)面试系列（3）

1.固态硬盘为什么会比机械硬盘快？

固态硬盘为什么会比机械硬盘快

2.闪存（flash）的实现原理？

flash百度百科

3.Python在爬取网页的时候用到的库?将网页中的，全部替换为.如何实现?网页中的图片如何爬取？

①urllib
②re.sub：

③ 键查看源码，找到图片的相应匹配规则（当时想的深了，想着图片的编码怎么在爬取的时候转换和普通文本一致。。。。）比如jpg文件那么.jpg就是一个很好的匹配过滤条件，以爬取百度图片-------hello为例：

图形页面：

源码界面：

具体爬取方式：
Python爬虫爬取网页图片

4.利用MapReduce实现group by的功能？

MapReduce实现基本SQL操作的原理-join和group by，以及Dinstinct

5.Hive与HBase的区别？

之前看过一篇文章，所以就着文章笃定的答道：Hive是遍历全表查询的，忽略了前提条件，可以说是不严谨，那个前提条件就是Hive不做分区表的情况下：

HBase 与 Hive 的区别和关系
hive与hbase的联系与区别
hive中partition如何使用

6.什么是ETL？

ETL百度百科
数据清洗百度百科
脏数据百度百科
元数据百度百科

7.Sqoop在超大数据的情况下，性能不佳，如何解决？

这个问题不是面试官问我的，而是出于疑惑，我请教面试官的，因为之前的一些面试，都谈到Sqoop好不好用这个问题？基于Sqoop 的使用效果，我垂直搜索了一下，发现，无非两类：一是Sqoop2较Sqoop1的架构上的演进，以及Sqoop和淘宝的DataX，还有Kettel相比性能之优越，插件之丰富，然而我要的是关于Sqoop的一些负面的文章，垂直搜索的时候并没有搜到。请教了面试官后，面试官给出了解答:Spark dataFrame，大量异构数据同步的一种框架级解决方案！！！

Hadoop教程：Hadoop数据传输工具Sqoop
大数据同步工具DataX与Sqoop之比较
Spark DataFrame小试牛刀

8.HBase二级索引如何建立？

HBase二级索引的设计(案例讲解)