大数据重点面试知识点总结

Linux

1、常见命令

2、linux的启动顺序

通电后读取ROM的BIOS程序进行硬件自检，自检成功后把计算机控制权交给BIOS中BOOTsequence中的下一个有效设备，读取该设备MBR找到操作系统，载入linux的bootloader，一般是grub。之后载入kernel，执行 /etc/rc.d/sysinit ，开启其他组件（/etc/modules.conf），执行运行级别，执行/etc/rc.d/rc.local ，执行/bin/login，最后shell启动。

Hadoop

HDFS

1、HDFS架构

HDFS采用master/slave架构。一个HDFS集群是由一个Namenode（master）和一定数目的Datanodes（slave）组成。Namenode是一个中心服务器器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。 HDFS暴露了了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组Datanode上。 Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。 Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。

• Namenode : 存储系统元数据、 namespace、管理datanode、接受datanode状态汇报
• Datanode: 存储块数据，响应客户端的块的读写，接收namenode的块管理理指令
• Block